Der KI-Wissenschaftler: Auf dem Weg zur vollständig automatisierten offenen wissenschaftlichen Entdeckung

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

August 12, 2024

Autoren: Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, David Ha

cs.AI

Zusammenfassung

Eine der großen Herausforderungen der künstlichen allgemeinen Intelligenz besteht darin, Agenten zu entwickeln, die in der Lage sind, wissenschaftliche Forschung zu betreiben und neues Wissen zu entdecken. Während Spitzenmodelle bereits als Hilfsmittel für menschliche Wissenschaftler verwendet wurden, z.B. um Ideen zu brainstormen, Code zu schreiben oder Vorhersageaufgaben zu lösen, führen sie immer noch nur einen kleinen Teil des wissenschaftlichen Prozesses durch. Dieser Artikel präsentiert den ersten umfassenden Rahmen für vollautomatische wissenschaftliche Entdeckungen, der es Spitzenmodellen großer Sprachen ermöglicht, eigenständig Forschung zu betreiben und ihre Ergebnisse zu kommunizieren. Wir stellen den KI-Wissenschaftler vor, der neuartige Forschungsideen generiert, Code schreibt, Experimente durchführt, Ergebnisse visualisiert, seine Erkenntnisse in Form eines vollständigen wissenschaftlichen Artikels beschreibt und dann einen simulierten Überprüfungsprozess zur Bewertung durchläuft. Grundsätzlich kann dieser Prozess iterativ wiederholt werden, um Ideen in einem offenen Stil zu entwickeln und dabei wie die menschliche wissenschaftliche Gemeinschaft zu agieren. Wir zeigen seine Vielseitigkeit, indem wir ihn auf drei verschiedene Teilgebiete des maschinellen Lernens anwenden: Diffusionsmodellierung, auf Transformer basierende Sprachmodellierung und Lerndynamik. Jede Idee wird implementiert und zu einem vollständigen Artikel entwickelt, und das zu Kosten von weniger als 15 US-Dollar pro Artikel. Zur Bewertung der generierten Artikel entwerfen und validieren wir einen automatisierten Gutachter, der eine nahezu menschenähnliche Leistung bei der Bewertung von Artikelpunkten zeigt. Der KI-Wissenschaftler kann Artikel produzieren, die die Akzeptanzschwelle auf einer führenden Konferenz zum maschinellen Lernen überschreiten, wie von unserem automatisierten Gutachter beurteilt. Dieser Ansatz markiert den Beginn einer neuen Ära der wissenschaftlichen Entdeckung im maschinellen Lernen: Er bringt die transformatorischen Vorteile von KI-Agenten in den gesamten Forschungsprozess des KI selbst und bringt uns näher an eine Welt, in der endlose, erschwingliche Kreativität und Innovation auf die herausforderndsten Probleme der Welt entfesselt werden können. Unser Code ist unter https://github.com/SakanaAI/AI-Scientist als Open Source verfügbar.

English

One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aids to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at https://github.com/SakanaAI/AI-Scientist