Agenten Laboratorium: Het Gebruik van LLM-Agenten als Onderzoeksassistenten

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Auteurs: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Samenvatting

Historisch gezien was wetenschappelijke ontdekking een langdurig en kostbaar proces, waarbij aanzienlijke tijd en middelen nodig waren vanaf het eerste concept tot de uiteindelijke resultaten. Om wetenschappelijke ontdekking te versnellen, onderzoekskosten te verlagen en onderzoekskwaliteit te verbeteren, introduceren we Agent Laboratory, een autonoom LLM-gebaseerd framework dat in staat is om het gehele onderzoeksproces te voltooien. Dit framework accepteert een door mensen verstrekt onderzoeksidee en doorloopt drie fasen - literatuuronderzoek, experimentatie en rapportage - om uitgebreide onderzoeksresultaten te produceren, inclusief een code-opslagplaats en een onderzoeksrapport, terwijl gebruikers feedback en begeleiding kunnen geven in elke fase. We implementeren Agent Laboratory met verschillende toonaangevende LLMs en nodigen meerdere onderzoekers uit om de kwaliteit ervan te beoordelen door deel te nemen aan een enquête, menselijke feedback te geven om het onderzoeksproces te sturen, en vervolgens het uiteindelijke paper te evalueren. We hebben vastgesteld dat: (1) Agent Laboratory aangedreven door o1-preview de beste onderzoeksresultaten genereert; (2) De gegenereerde machine learning code in staat is om state-of-the-art prestaties te behalen in vergelijking met bestaande methoden; (3) Menselijke betrokkenheid, door feedback te geven in elke fase, aanzienlijk de algehele kwaliteit van het onderzoek verbetert; (4) Agent Laboratory aanzienlijk de onderzoekskosten verlaagt, met een afname van 84% vergeleken met eerdere autonome onderzoeksmethoden. We hopen dat Agent Laboratory onderzoekers in staat stelt om meer inspanning te besteden aan creatieve ideeën in plaats van laag-niveau codering en schrijven, en uiteindelijk wetenschappelijke ontdekking versnelt.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.