Laboratorio de Agentes: Utilizando Agentes LLM como Asistentes de Investigación

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Autores: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Resumen

Históricamente, el descubrimiento científico ha sido un proceso largo y costoso, demandando un tiempo y recursos sustanciales desde la concepción inicial hasta los resultados finales. Para acelerar el descubrimiento científico, reducir los costos de investigación y mejorar la calidad de la investigación, presentamos Agent Laboratory, un marco autónomo basado en LLM capaz de completar todo el proceso de investigación. Este marco acepta una idea de investigación proporcionada por humanos y avanza a través de tres etapas: revisión de literatura, experimentación y redacción de informes para producir resultados de investigación completos, incluyendo un repositorio de código y un informe de investigación, al mismo tiempo que permite a los usuarios proporcionar retroalimentación y orientación en cada etapa. Desplegamos Agent Laboratory con varios LLMs de última generación e invitamos a múltiples investigadores a evaluar su calidad participando en una encuesta, brindando retroalimentación humana para guiar el proceso de investigación y luego evaluar el artículo final. Encontramos que: (1) Agent Laboratory impulsado por o1-preview genera los mejores resultados de investigación; (2) El código de aprendizaje automático generado logra un rendimiento de vanguardia en comparación con los métodos existentes; (3) La participación humana, proporcionando retroalimentación en cada etapa, mejora significativamente la calidad general de la investigación; (4) Agent Laboratory reduce significativamente los gastos de investigación, logrando una disminución del 84% en comparación con los métodos de investigación autónomos anteriores. Esperamos que Agent Laboratory permita a los investigadores dedicar más esfuerzo a la ideación creativa en lugar de la codificación y redacción a bajo nivel, acelerando en última instancia el descubrimiento científico.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.