El Científico de IA: Hacia el Descubrimiento Científico de Fin Abierto Totalmente Automatizado

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

August 12, 2024

Autores: Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, David Ha

cs.AI

Resumen

Uno de los grandes desafíos de la inteligencia artificial general es desarrollar agentes capaces de llevar a cabo investigaciones científicas y descubrir nuevos conocimientos. Si bien los modelos de vanguardia ya se han utilizado como ayudas para los científicos humanos, por ejemplo, para generar ideas, escribir código o realizar tareas de predicción, aún realizan solo una pequeña parte del proceso científico. Este artículo presenta el primer marco integral para el descubrimiento científico totalmente automático, que permite a los modelos de lenguaje de gran tamaño de vanguardia realizar investigaciones de manera independiente y comunicar sus hallazgos. Presentamos El Científico de IA, que genera ideas de investigación novedosas, escribe código, realiza experimentos, visualiza resultados, describe sus hallazgos escribiendo un artículo científico completo y luego ejecuta un proceso de revisión simulado para evaluación. En principio, este proceso puede repetirse para desarrollar ideas de manera iterativa de forma abierta, actuando como la comunidad científica humana. Demostramos su versatilidad aplicándolo a tres subcampos distintos del aprendizaje automático: modelado de difusión, modelado de lenguaje basado en transformadores y dinámica de aprendizaje. Cada idea se implementa y se desarrolla en un artículo completo con un costo de menos de $15 por artículo. Para evaluar los artículos generados, diseñamos y validamos un revisor automatizado, que mostramos logra un rendimiento casi humano en la evaluación de las puntuaciones de los artículos. El Científico de IA puede producir artículos que superan el umbral de aceptación en una conferencia destacada de aprendizaje automático según lo juzgado por nuestro revisor automatizado. Este enfoque marca el comienzo de una nueva era en el descubrimiento científico en el aprendizaje automático: llevando los beneficios transformadores de los agentes de IA a todo el proceso de investigación de la IA misma, y acercándonos a un mundo donde la creatividad y la innovación infinitamente asequibles pueden ser liberadas en los problemas más desafiantes del mundo. Nuestro código está disponible de forma abierta en https://github.com/SakanaAI/AI-Scientist

English

One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aids to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at https://github.com/SakanaAI/AI-Scientist