과학자-정렬 워크플로우를 활용한 LLM의 과학적 일반 지능 탐구

초록

과학적 AI의 발전에도 불구하고, 다양한 과학 분야를 자율적으로 구상·탐구·추론하는 능력인 과학적 일반 지능(SGI)에 대한 일관된 프레임워크는 여전히 부족한 상태입니다. 본 연구는 실질적 탐구 모델(PIM: 숙고, 구상, 실행, 지각)에 기반한 운영적 SGI 정의를 제시하고, 이를 심층 연구, 아이디어 생성, 건식/습식 실험, 실험 추론이라는 네 가지 과학자 수준 과제를 통해 구체화합니다. Science지의 125개 대질문에서 영감을 받아 전문가가 선별한 1,000개 이상의 융합 학문 샘플로 구성된 SGB-Bench는 최첨단 대규모 언어 모델(LLM)의 체계적 평가를 가능하게 합니다. 결과는 다음과 같은 한계를 드러냈습니다: 단계적 정렬에도 심층 연구 정확도(10-20%)가 낮음, 실현 가능성과 세부성이 부족한 아이디어, 건식 실험에서 코드 실행 가능성은 높으나 실행 결과 정확도는 낮음, 습식 실험 프로토콜의 순서 정확도 저조, 그리고 지속적인 다중 모드 비교 추론 과제의 어려움 등입니다. 더 나아가 추론 시 참조 답안 없이 검색 강화 신규성 보상을 최적화하여 가설 신규성을 향상시키는 추론 시 강화 학습(TTRL)을 소개합니다. 궁극적으로, PIM 기반 정의, 워크플로우 중심 벤치마크, 실증적 통찰력을 통해 진정한 과학적 발견에 기여하는 AI 시스템의 기반을 마련합니다.

English

Despite advances in scientific AI, a coherent framework for Scientific General Intelligence (SGI)-the ability to autonomously conceive, investigate, and reason across scientific domains-remains lacking. We present an operational SGI definition grounded in the Practical Inquiry Model (PIM: Deliberation, Conception, Action, Perception) and operationalize it via four scientist-aligned tasks: deep research, idea generation, dry/wet experiments, and experimental reasoning. SGI-Bench comprises over 1,000 expert-curated, cross-disciplinary samples inspired by Science's 125 Big Questions, enabling systematic evaluation of state-of-the-art LLMs. Results reveal gaps: low exact match (10--20%) in deep research despite step-level alignment; ideas lacking feasibility and detail; high code executability but low execution result accuracy in dry experiments; low sequence fidelity in wet protocols; and persistent multimodal comparative-reasoning challenges. We further introduce Test-Time Reinforcement Learning (TTRL), which optimizes retrieval-augmented novelty rewards at inference, enhancing hypothesis novelty without reference answer. Together, our PIM-grounded definition, workflow-centric benchmark, and empirical insights establish a foundation for AI systems that genuinely participate in scientific discovery.

과학자-정렬 워크플로우를 활용한 LLM의 과학적 일반 지능 탐구

Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows

초록

Support