Scienziato IA Jr. e il suo Rapporto sui Rischi: Esplorazione Scientifica Autonoma a Partire da un Documento di Base

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

November 6, 2025

Autori: Atsuyuki Miyai, Mashiro Toyooka, Takashi Otonari, Zaiying Zhao, Kiyoharu Aizawa

cs.AI

Abstract

Comprendere le attuali capacità e i rischi dei sistemi di Intelligenza Artificiale Scientifica è fondamentale per garantire un progresso scientifico guidato dall'IA affidabile e sostenibile, preservando al contempo l'integrità dell'ecosistema accademico. A tal fine, sviluppiamo Jr. AI Scientist, un sistema autonomo di IA scientifica all'avanguardia che simula il flusso di lavoro di ricerca principale di un ricercatore studentesco alle prime armi: dato l'articolo di base fornito dal mentore umano, il sistema ne analizza i limiti, formula nuove ipotesi di miglioramento, le convalida attraverso una sperimentazione rigorosa e redige un articolo con i risultati. A differenza di approcci precedenti che presupponevano una piena automazione o operavano su codice su piccola scala, Jr. AI Scientist segue un flusso di ricerca ben definito e sfrutta agenti di codifica moderni per gestire implementazioni complesse e multi-file, portando a contributi scientificamente validi. Per la valutazione, abbiamo condotto valutazioni automatizzate utilizzando Revisori IA, valutazioni guidate dagli autori e sottomissioni ad Agents4Science, una sede dedicata ai contributi scientifici guidati dall'IA. I risultati dimostrano che Jr. AI Scientist genera articoli che ricevono punteggi di revisione più elevati rispetto ai sistemi completamente automatizzati esistenti. Tuttavia, identifichiamo limitazioni importanti sia dalla valutazione degli autori che dalle revisioni di Agents4Science, che indicano i potenziali rischi dell'applicazione diretta degli attuali sistemi di IA Scientifica e le principali sfide per la ricerca futura. Infine, riportiamo in modo esaustivo vari rischi identificati durante lo sviluppo. Confidiamo che questi spunti possano approfondire la comprensione dei progressi attuali e dei rischi nello sviluppo dell'IA Scientifica.

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.