Scientifique IA Junior et son rapport sur les risques : Exploration scientifique autonome à partir d'un article de référence

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

November 6, 2025

papers.authors: Atsuyuki Miyai, Mashiro Toyooka, Takashi Otonari, Zaiying Zhao, Kiyoharu Aizawa

cs.AI

papers.abstract

Comprendre les capacités actuelles et les risques des systèmes de Scientifique IA est essentiel pour garantir des progrès scientifiques pilotés par l'IA fiables et durables, tout en préservant l'intégrité de l'écosystème académique. À cette fin, nous développons Jr. AI Scientist, un système autonome de scientifique IA de pointe qui reproduit le flux de travail de recherche fondamental d'un étudiant chercheur novice : à partir d'un article de référence fourni par un mentor humain, il analyse ses limites, formule de nouvelles hypothèses d'amélioration, les valide par une expérimentation rigoureuse et rédige un article présentant les résultats. Contrairement aux approches antérieures qui supposent une automatisation complète ou opèrent sur du code à petite échelle, Jr. AI Scientist suit un processus de recherche bien défini et utilise des agents de codage modernes pour gérer des implémentations complexes et multi-fichiers, aboutissant à des contributions scientifiquement valables. Pour l'évaluation, nous avons mené des évaluations automatisées à l'aide de réviseurs IA, des évaluations dirigées par les auteurs et des soumissions à Agents4Science, une plateforme dédiée aux contributions scientifiques pilotées par l'IA. Les résultats démontrent que Jr. AI Scientist génère des articles recevant des scores d'évaluation plus élevés que les systèmes entièrement automatisés existants. Néanmoins, nous identifions d'importantes limites à la fois dans l'évaluation des auteurs et dans les revues d'Agents4Science, indiquant les risques potentiels liés à l'application directe des systèmes actuels de Scientifique IA et les défis majeurs pour les recherches futures. Enfin, nous rapportons de manière exhaustive divers risques identifiés durant le développement. Nous espérons que ces éclairages approfondiront la compréhension des progrès actuels et des risques dans le développement des Scientifiques IA.

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.