AI Scientist-v2: 에이전트 기반 트리 탐색을 통한 워크숍 수준 자동화 과학 발견

The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

April 10, 2025

저자: Yutaro Yamada, Robert Tjarko Lange, Cong Lu, Shengran Hu, Chris Lu, Jakob Foerster, Jeff Clune, David Ha

cs.AI

초록

AI는 과학적 발견의 방식을 혁신적으로 변화시키는 데 점점 더 중요한 역할을 하고 있습니다. 우리는 최초로 완전히 AI가 생성한 동료 평가를 통과한 워크숍 논문을 생산할 수 있는 종단 간 에이전트 시스템인 The AI Scientist-v2를 소개합니다. 이 시스템은 과학적 가설을 반복적으로 수립하고, 실험을 설계 및 실행하며, 데이터를 분석 및 시각화하고, 과학 논문을 자율적으로 작성합니다. 이전 버전(v1, Lu et al., 2024 arXiv:2408.06292)과 비교하여, The AI Scientist-v2는 인간이 작성한 코드 템플릿에 대한 의존성을 제거하고, 다양한 머신러닝 도메인에서 효과적으로 일반화하며, 전용 실험 관리 에이전트가 관리하는 새로운 점진적 에이전트 트리 탐색 방법론을 활용합니다. 또한, 우리는 Vision-Language Model(VLM) 피드백 루프를 통합하여 AI 리뷰어 구성 요소를 강화하여 콘텐츠와 그림의 미적 요소를 반복적으로 개선합니다. 우리는 The AI Scientist-v2를 평가하기 위해 세 편의 완전히 자율적으로 작성된 논문을 동료 평가를 거치는 ICLR 워크숍에 제출했습니다. 특히, 한 편의 논문은 평균적인 인간 수용 기준을 초과할 만큼 높은 점수를 받아, 완전히 AI가 생성한 논문이 동료 평가를 성공적으로 통과한 첫 사례를 기록했습니다. 이 성과는 과학 연구의 모든 측면을 수행하는 AI의 성장하는 능력을 강조합니다. 우리는 자율적인 과학적 발견 기술의 추가 발전이 인간의 지식 생산에 깊은 영향을 미치고, 연구 생산성의 전례 없는 확장성을 가능하게 하며, 과학적 돌파구를 크게 가속화하여 사회 전반에 큰 이익을 가져올 것으로 기대합니다. 우리는 이 혁신적인 기술의 미래 발전을 촉진하기 위해 코드를 https://github.com/SakanaAI/AI-Scientist-v2에서 오픈소스로 공개했습니다. 또한, AI 안전을 포함한 과학에서의 AI의 역할에 대해 논의합니다.

English

AI is increasingly playing a pivotal role in transforming how scientific discoveries are made. We introduce The AI Scientist-v2, an end-to-end agentic system capable of producing the first entirely AI generated peer-review-accepted workshop paper. This system iteratively formulates scientific hypotheses, designs and executes experiments, analyzes and visualizes data, and autonomously authors scientific manuscripts. Compared to its predecessor (v1, Lu et al., 2024 arXiv:2408.06292), The AI Scientist-v2 eliminates the reliance on human-authored code templates, generalizes effectively across diverse machine learning domains, and leverages a novel progressive agentic tree-search methodology managed by a dedicated experiment manager agent. Additionally, we enhance the AI reviewer component by integrating a Vision-Language Model (VLM) feedback loop for iterative refinement of content and aesthetics of the figures. We evaluated The AI Scientist-v2 by submitting three fully autonomous manuscripts to a peer-reviewed ICLR workshop. Notably, one manuscript achieved high enough scores to exceed the average human acceptance threshold, marking the first instance of a fully AI-generated paper successfully navigating a peer review. This accomplishment highlights the growing capability of AI in conducting all aspects of scientific research. We anticipate that further advancements in autonomous scientific discovery technologies will profoundly impact human knowledge generation, enabling unprecedented scalability in research productivity and significantly accelerating scientific breakthroughs, greatly benefiting society at large. We have open-sourced the code at https://github.com/SakanaAI/AI-Scientist-v2 to foster the future development of this transformative technology. We also discuss the role of AI in science, including AI safety.