Científico Jr. de IA y Su Informe de Riesgos: Exploración Científica Autónoma a partir de un Artículo de Referencia

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

November 6, 2025

Autores: Atsuyuki Miyai, Mashiro Toyooka, Takashi Otonari, Zaiying Zhao, Kiyoharu Aizawa

cs.AI

Resumen

Comprender las capacidades y riesgos actuales de los sistemas de Científico de IA es fundamental para garantizar un progreso científico impulsado por la IA confiable y sostenible, preservando al mismo tiempo la integridad del ecosistema académico. Con este fin, desarrollamos Jr. AI Scientist, un sistema autónomo de científico de IA de vanguardia que imita el flujo de trabajo investigativo central de un estudiante investigador novel: Dado el artículo de referencia proporcionado por el mentor humano, el sistema analiza sus limitaciones, formula hipótesis novedosas para mejorarlo, las valida mediante experimentación rigurosa y redacta un artículo con los resultados. A diferencia de enfoques anteriores que asumen una automatización total o operan en código a pequeña escala, Jr. AI Scientist sigue un flujo de trabajo de investigación bien definido y aprovecha agentes de codificación modernos para manejar implementaciones complejas y multiarchivo, lo que conduce a contribuciones científicamente valiosas. Para la evaluación, realizamos evaluaciones automatizadas utilizando Revisores de IA, evaluaciones dirigidas por los autores y envíos a Agents4Science, un foro dedicado a las contribuciones científicas impulsadas por la IA. Los hallazgos demuestran que Jr. AI Scientist genera artículos que reciben puntuaciones de revisión más altas que los sistemas totalmente automatizados existentes. No obstante, identificamos limitaciones importantes tanto en la evaluación de los autores como en las revisiones de Agents4Science, lo que indica los riesgos potenciales de aplicar directamente los sistemas actuales de Científico de IA y los desafíos clave para la investigación futura. Finalmente, reportamos de manera exhaustiva varios riesgos identificados durante el desarrollo. Esperamos que estas perspectivas profundicen la comprensión del progreso actual y los riesgos en el desarrollo del Científico de IA.

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.