Agentenlabor: Verwendung von LLM-Agenten als Forschungsassistenten

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Autoren: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Zusammenfassung

Historisch gesehen war wissenschaftliche Entdeckung ein langwieriger und kostspieliger Prozess, der erhebliche Zeit und Ressourcen von der ersten Konzeption bis zu den endgültigen Ergebnissen erforderte. Um wissenschaftliche Entdeckungen zu beschleunigen, Forschungskosten zu senken und die Forschungsqualität zu verbessern, stellen wir Agent Laboratory vor, ein autonomes LLM-basiertes Framework, das in der Lage ist, den gesamten Forschungsprozess abzuschließen. Dieses Framework akzeptiert eine vom Menschen bereitgestellte Forschungsidee und durchläuft drei Phasen - Literaturrecherche, Experimente und Berichterstellung, um umfassende Forschungsergebnisse zu erzeugen, einschließlich eines Code-Repositories und eines Forschungsberichts, wobei Benutzern ermöglicht wird, Feedback und Anleitung in jeder Phase zu geben. Wir setzen Agent Laboratory mit verschiedenen hochmodernen LLMs ein und laden mehrere Forscher ein, seine Qualität zu bewerten, indem sie an einer Umfrage teilnehmen, menschliches Feedback geben, um den Forschungsprozess zu lenken, und dann das endgültige Papier bewerten. Wir haben festgestellt, dass: (1) Agent Laboratory, gesteuert von o1-preview, die besten Forschungsergebnisse erzielt; (2) Der generierte Machine-Learning-Code in der Lage ist, im Vergleich zu bestehenden Methoden Spitzenleistungen zu erzielen; (3) Die menschliche Beteiligung, die Feedback in jeder Phase gibt, verbessert signifikant die Gesamtqualität der Forschung; (4) Agent Laboratory reduziert Forschungskosten signifikant und erreicht eine 84%ige Verringerung im Vergleich zu früheren autonomen Forschungsmethoden. Wir hoffen, dass Agent Laboratory es Forschern ermöglicht, mehr Aufwand für kreative Ideenbildung anstelle von niedrigschwelligem Codieren und Schreiben aufzuwenden und letztendlich die wissenschaftliche Entdeckung zu beschleunigen.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.