De AI Scientist-v2: Workshop-Niveau Geautomatiseerde Wetenschappelijke Ontdekking via Agentische Boomzoekmethoden

The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

April 10, 2025

Auteurs: Yutaro Yamada, Robert Tjarko Lange, Cong Lu, Shengran Hu, Chris Lu, Jakob Foerster, Jeff Clune, David Ha

cs.AI

Samenvatting

AI speelt een steeds crucialere rol in de transformatie van hoe wetenschappelijke ontdekkingen worden gedaan. Wij introduceren The AI Scientist-v2, een end-to-end agentisch systeem dat in staat is het eerste volledig door AI gegenereerde, peer-review-geaccepteerde workshoppaper te produceren. Dit systeem formuleert iteratief wetenschappelijke hypotheses, ontwerpt en voert experimenten uit, analyseert en visualiseert data, en schrijft autonoom wetenschappelijke manuscripten. Vergeleken met zijn voorganger (v1, Lu et al., 2024 arXiv:2408.06292), elimineert The AI Scientist-v2 de afhankelijkheid van door mensen geschreven codesjablonen, generaliseert effectief over diverse machine learning-domeinen, en maakt gebruik van een nieuwe progressieve agentische boomzoekmethodologie die wordt beheerd door een toegewijde experimentmanager-agent. Daarnaast verbeteren we de AI-reviewercomponent door een Vision-Language Model (VLM)-feedbacklus te integreren voor iteratieve verfijning van de inhoud en esthetiek van de figuren. We hebben The AI Scientist-v2 geëvalueerd door drie volledig autonome manuscripten in te dienen bij een peer-reviewed ICLR-workshop. Opmerkelijk is dat één manuscript scores behaalde die hoog genoeg waren om de gemiddelde acceptatiedrempel van mensen te overschrijden, wat de eerste keer markeert dat een volledig door AI gegenereerd paper met succes een peer review heeft doorlopen. Deze prestatie onderstreept de groeiende capaciteit van AI om alle aspecten van wetenschappelijk onderzoek uit te voeren. We verwachten dat verdere vooruitgang in autonome wetenschappelijke ontdekkingstechnologieën een diepgaande impact zal hebben op de generatie van menselijke kennis, waardoor een ongekende schaalbaarheid in onderzoeksproductiviteit mogelijk wordt en wetenschappelijke doorbraken aanzienlijk worden versneld, wat de samenleving als geheel ten goede komt. We hebben de code open-source gemaakt op https://github.com/SakanaAI/AI-Scientist-v2 om de toekomstige ontwikkeling van deze transformerende technologie te bevorderen. We bespreken ook de rol van AI in de wetenschap, inclusief AI-veiligheid.

English

AI is increasingly playing a pivotal role in transforming how scientific discoveries are made. We introduce The AI Scientist-v2, an end-to-end agentic system capable of producing the first entirely AI generated peer-review-accepted workshop paper. This system iteratively formulates scientific hypotheses, designs and executes experiments, analyzes and visualizes data, and autonomously authors scientific manuscripts. Compared to its predecessor (v1, Lu et al., 2024 arXiv:2408.06292), The AI Scientist-v2 eliminates the reliance on human-authored code templates, generalizes effectively across diverse machine learning domains, and leverages a novel progressive agentic tree-search methodology managed by a dedicated experiment manager agent. Additionally, we enhance the AI reviewer component by integrating a Vision-Language Model (VLM) feedback loop for iterative refinement of content and aesthetics of the figures. We evaluated The AI Scientist-v2 by submitting three fully autonomous manuscripts to a peer-reviewed ICLR workshop. Notably, one manuscript achieved high enough scores to exceed the average human acceptance threshold, marking the first instance of a fully AI-generated paper successfully navigating a peer review. This accomplishment highlights the growing capability of AI in conducting all aspects of scientific research. We anticipate that further advancements in autonomous scientific discovery technologies will profoundly impact human knowledge generation, enabling unprecedented scalability in research productivity and significantly accelerating scientific breakthroughs, greatly benefiting society at large. We have open-sourced the code at https://github.com/SakanaAI/AI-Scientist-v2 to foster the future development of this transformative technology. We also discuss the role of AI in science, including AI safety.