반복적 메타 성찰을 통한 자율적 과학적 발견

초록

자율적 과학 발견 시스템은 가설 생성 및 검증 과정을 자동화함으로써 연구를 가속화할 가능성을 제공한다. 그러나 현재 시스템은 제한된 탐색 공간 내에서 작동하거나 사전 정의된 연구 질문을 필요로 하여, 진정한 개방형 탐구를 위한 능력을 제한한다. 또한 가설을 반복적으로 생성하지만, 축적된 발견을 명시적으로 종합하여 복잡하고 상호연결된 현상을 밝혀내는 능력이 크게 부족하다. 우리는 사전에 지정된 연구 목표 없이 동적으로 코드를 생성 및 실행하여 데이터셋을 탐색함으로써 개방형 연구를 수행하는 자율적 대규모 언어 모델 기반 프레임워크인 DiscoPER를 소개한다. 엄격한 과학적 타당성을 보장하기 위해, 제안된 모든 발견은 통계적 검정을 통과해야 한다. 고립된 탐색의 한계를 극복하기 위해, 우리의 프레임워크는 주기적으로 자체 축적 발견을 분석하는 2차 추론 메커니즘을 도입한다. DiscoPER는 이전 발견을 경험적 데이터로 취급하여 구조적 패턴, 혼동 변수, 인식론적 간극을 식별하고, 가설 탐색을 탐색 공간의 미개척 영역으로 능동적으로 전환시킨다. 도구 사용을 통합함으로써 탐색 공간은 더욱 확장되어, 이미지와 같은 다중 모달 소스로부터 유용한 정보를 원활하게 처리 및 추출함으로써 구조화된 메타데이터를 넘어서는 가설 탐색이 가능해진다. 동료 검토 문헌에서 얻은 패턴 수준의 실측 자료를 갖춘 새로운 다중 모달 생태 지식 벤치마크인 iNatDisco에서 평가된 결과, DiscoPER는 72.7%의 가설 지지율로 9개의 알려진 패턴 중 8개를 복원하여, 고전적 인과 발견 및 LLM 기반 기준선을 능가했다. 절제 연구는 DiscoPER가 더 많은 데이터에 따라 확장되며, 2차 메타 반성의 이점을 확인시켜 준다.

English

Autonomous scientific discovery systems offer the potential to accelerate research by automating the process of hypothesis generation and validation. However, current systems operate within constrained search spaces or require predefined research questions, limiting their capacity for true open-ended inquiry. Furthermore, while they generate hypotheses iteratively, they largely lack the ability to explicitly synthesize their own accumulated findings to uncover complex, interconnected phenomena. We introduce DiscoPER, an autonomous large language model-powered framework that conducts open-ended research by dynamically generating and executing code to explore datasets without pre-specified research objectives. To ensure rigorous scientific validity, every proposed discovery must pass statistical testing. To overcome the limitations of isolated search, our framework introduces a second-order reasoning mechanism that periodically analyzes its own accumulated discoveries. By treating prior discoveries as empirical data, DiscoPER identifies structural patterns, confounds, and epistemic gaps, actively redirecting hypothesis exploration toward uncharted regions of the search space. The search space is further expanded by incorporating tool use, enabling the system to explore hypotheses beyond structured metadata by seamlessly processing and extracting useful information from multimodal sources like images. Evaluated on iNatDisco, a new multimodal ecological knowledge benchmark with pattern-level ground truth obtained from peer-reviewed literature, DiscoPER recovers 8 of 9 known patterns with a 72.7% hypothesis support rate, outperforming both classical causal discovery and LLM-guided baselines. Ablations show that DiscoPER scales with more data, and confirms the benefits of second-order meta-reflection.