Junior AI-wetenschapper en zijn risicorapport: autonoom wetenschappelijk onderzoek uitgaande van een basispublicatie

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

November 6, 2025

Auteurs: Atsuyuki Miyai, Mashiro Toyooka, Takashi Otonari, Zaiying Zhao, Kiyoharu Aizawa

cs.AI

Samenvatting

Het begrijpen van de huidige mogelijkheden en risico's van AI Scientist-systemen is essentieel om betrouwbare en duurzame, door AI aangedreven wetenschappelijke vooruitgang te waarborgen, terwijl de integriteit van het academische ecosysteem behouden blijft. Hiertoe ontwikkelen we Jr. AI Scientist, een state-of-the-art autonoom AI-wetenschapssysteem dat de kernwerkstroom van een beginnende student-onderzoeker nabootst: uitgaande van een basispaper van een menselijke mentor analyseert het de beperkingen daarvan, formuleert het nieuwe hypotheses voor verbetering, toetst deze via rigoureus experimenteel onderzoek en schrijft het een paper met de resultaten. In tegenstelling tot eerdere benaderingen die uitgaan van volledige automatisering of werken op kleine codeschaal, volgt Jr. AI Scientist een goed gedefinieerde onderzoekswerkstroom en maakt het gebruik van moderne codeer-agents om complexe, multi-file implementaties te hanteren, wat leidt tot wetenschappelijk waardevolle bijdragen. Voor de evaluatie hebben we automatische beoordelingen uitgevoerd met AI Reviewers, evaluaties door de auteurs zelf, en indieningen bij Agents4Science, een platform gewijd aan AI-gedreven wetenschappelijke bijdragen. De bevindingen tonen aan dat Jr. AI Scientist papers genereert die hogere beoordelingsscores ontvangen dan bestaande volledig geautomatiseerde systemen. Desalniettemin identificeren we belangrijke beperkingen vanuit zowel de auteursevaluatie als de Agents4Science-beoordelingen, wat wijst op de potentiële risico's van het direct toepassen van huidige AI Scientist-systemen en de belangrijkste uitdagingen voor toekomstig onderzoek. Ten slotte rapporteren we uitgebreid over verschillende risico's die tijdens de ontwikkeling zijn geïdentificeerd. We hopen dat deze inzichten het begrip van de huidige voortgang en risico's in de AI Scientist-ontwikkeling zullen verdiepen.

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.