Cientista de IA Jr. e Seu Relatório de Riscos: Exploração Científica Autônoma a partir de um Artigo de Base

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

November 6, 2025

Autores: Atsuyuki Miyai, Mashiro Toyooka, Takashi Otonari, Zaiying Zhao, Kiyoharu Aizawa

cs.AI

Resumo

Compreender as capacidades e riscos atuais dos sistemas de Cientista de IA é essencial para garantir um progresso científico impulsionado por IA confiável e sustentável, preservando a integridade do ecossistema acadêmico. Para tanto, desenvolvemos o Jr. AI Scientist, um sistema autónomo de cientista de IA state-of-the-art que imita o fluxo de trabalho central de pesquisa de um estudante investigador iniciante: Dado o artigo de referência do mentor humano, o sistema analisa as suas limitações, formula hipóteses novas para melhorias, valida-as através de experimentação rigorosa e redige um artigo com os resultados. Diferente de abordagens anteriores que pressupõem automação total ou operam em código de pequena escala, o Jr. AI Scientist segue um fluxo de trabalho de pesquisa bem definido e aproveita agentes de codificação modernos para lidar com implementações complexas e multiarquivo, resultando em contribuições cientificamente valiosas. Para avaliação, realizamos avaliações automatizadas usando Revisores de IA, avaliações conduzidas pelos autores e submissões ao Agents4Science, um evento dedicado a contribuições científicas orientadas por IA. Os resultados demonstram que o Jr. AI Scientist gera artigos que recebem pontuações de revisão mais altas do que os sistemas totalmente automatizados existentes. No entanto, identificamos limitações importantes tanto na avaliação dos autores quanto nas revisões do Agents4Science, indicando os riscos potenciais da aplicação direta dos sistemas atuais de Cientista de IA e os principais desafios para pesquisas futuras. Por fim, relatamos de forma abrangente vários riscos identificados durante o desenvolvimento. Esperamos que estes insights aprofundem a compreensão sobre o progresso atual e os riscos no desenvolvimento de Cientistas de IA.

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.