Laboratoire d'agents : Utilisation d'agents LLM comme assistants de recherche

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Auteurs: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Résumé

Historiquement, la découverte scientifique a été un processus long et coûteux, demandant un temps et des ressources considérables de la conception initiale aux résultats finaux. Pour accélérer la découverte scientifique, réduire les coûts de recherche et améliorer la qualité de la recherche, nous introduisons Agent Laboratory, un cadre autonome basé sur LLM capable de mener à bien l'ensemble du processus de recherche. Ce cadre accepte une idée de recherche fournie par l'humain et progresse à travers trois étapes - revue de la littérature, expérimentation et rédaction de rapports - pour produire des résultats de recherche complets, y compris un référentiel de code et un rapport de recherche, tout en permettant aux utilisateurs de fournir des commentaires et des orientations à chaque étape. Nous déployons Agent Laboratory avec divers LLM de pointe et invitons plusieurs chercheurs à évaluer sa qualité en participant à une enquête, en fournissant des retours humains pour guider le processus de recherche, puis en évaluant le document final. Nous avons constaté que : (1) Agent Laboratory piloté par o1-preview génère les meilleurs résultats de recherche ; (2) Le code d'apprentissage automatique généré est capable d'atteindre des performances de pointe par rapport aux méthodes existantes ; (3) L'implication humaine, fournissant des retours à chaque étape, améliore significativement la qualité globale de la recherche ; (4) Agent Laboratory réduit considérablement les dépenses de recherche, réalisant une réduction de 84 % par rapport aux méthodes de recherche autonomes précédentes. Nous espérons qu'Agent Laboratory permettra aux chercheurs de consacrer plus d'efforts à l'idéation créative plutôt qu'à la programmation et à la rédaction de bas niveau, accélérant ainsi la découverte scientifique.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.