Лаборатория агентов: Использование агентов LLM в качестве исследовательских помощников

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Авторы: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Аннотация

Исторически научное открытие было длительным и затратным процессом, требующим значительного времени и ресурсов от начальной концепции до конечных результатов. Для ускорения научного открытия, снижения издержек на исследования и улучшения качества исследований мы представляем Agent Laboratory, автономную платформу на основе LLM, способную завершить весь исследовательский процесс. Эта платформа принимает идею исследования, предоставленную человеком, и проходит через три этапа - обзор литературы, экспериментирование и написание отчета для создания комплексных исследовательских результатов, включая репозиторий кода и исследовательский отчет, позволяя пользователям давать обратную связь и руководство на каждом этапе. Мы развернули Agent Laboratory с различными передовыми LLM и пригласили нескольких исследователей оценить его качество, участвуя в опросе, предоставляя человеческую обратную связь для руководства исследовательским процессом, а затем оценивая окончательную статью. Мы обнаружили, что: (1) Agent Laboratory, управляемый o1-preview, дает лучшие исследовательские результаты; (2) Сгенерированный код машинного обучения способен достичь передовой производительности по сравнению с существующими методами; (3) Участие человека, предоставляющего обратную связь на каждом этапе, значительно улучшает общее качество исследований; (4) Agent Laboratory значительно снижает издержки на исследования, достигая сокращения на 84% по сравнению с предыдущими автономными методами исследований. Мы надеемся, что Agent Laboratory позволит исследователям направить больше усилий на творческое мышление, а не на низкоуровневое программирование и написание, в конечном итоге ускоряя научное открытие.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.