AI 과학자: 완전 자동화된 개방형 과학적 발견을 향하여

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

August 12, 2024

저자: Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, David Ha

cs.AI

초록

인공 일반 지능의 주요 과제 중 하나는 과학 연구를 수행하고 새로운 지식을 발견할 수 있는 에이전트를 개발하는 것입니다. 최신 모델은 이미 인간 과학자들을 돕는 데 사용되었으며, 아이디어 떠올리기, 코드 작성 또는 예측 작업 등에 사용되었지만, 아직 과학적 과정의 일부만을 수행합니다. 본 논문은 완전 자동 과학 발견을 위한 첫 번째 포괄적인 프레임워크를 제시하며, 최첨단 대형 언어 모델이 독립적으로 연구를 수행하고 결과를 전달할 수 있도록 합니다. 우리는 AI 과학자를 소개합니다. 이는 새로운 연구 아이디어를 생성하고, 코드를 작성하며, 실험을 실행하고, 결과를 시각화하며, 전체 과학 논문을 작성하여 결과를 설명하고, 그런 다음 평가를 위해 시뮬레이션 검토 과정을 실행합니다. 원칙적으로 이 프로세스는 인간 과학 커뮤니티처럼 작동하여 끝없는 창의력과 혁신이 세계에서 가장 어려운 문제에 발휘될 수 있도록 아이디어를 반복적으로 개발할 수 있습니다. 우리는 이를 기계 학습의 세 가지 다른 하위 분야에 적용하여 다양성을 증명합니다: 확산 모델링, 트랜스포머 기반 언어 모델링 및 학습 동태. 각 아이디어는 논문 당 15달러 미만의 비용으로 구현되고 개발됩니다. 생성된 논문을 평가하기 위해 우리는 자동 리뷰어를 설계하고 유효성을 검증하며, 이를 통해 논문 점수 평가에서 거의 인간 수준의 성능을 달성하는 것을 보여줍니다. AI 과학자는 우리의 자동 리뷰어에 의해 판단된 최고의 기계 학습 컨퍼런스의 수용 임계값을 초과하는 논문을 생산할 수 있습니다. 이 접근 방식은 기계 학습의 과학 발견에 새로운 시대의 시작을 의미하며, AI 에이전트의 변혁적 이점을 AI 자체의 전체 연구 과정에 가져다주며, 세계에서 가장 어려운 문제에 끝없는 저렴한 창의력과 혁신을 발휘할 수 있는 세계로 우리를 더 가깝게 이끕니다. 우리의 코드는 https://github.com/SakanaAI/AI-Scientist에서 오픈 소스로 제공됩니다.

English

One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aids to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at https://github.com/SakanaAI/AI-Scientist