AgentRxiv: На пути к совместному автономному исследованию

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Авторы: Samuel Schmidgall, Michael Moor

cs.AI

Аннотация

Прогресс в научных открытиях редко является результатом единичного "Эврика"-момента, а скорее представляет собой продукт совместных усилий сотен ученых, постепенно работающих над общей целью. Хотя существующие рабочие процессы агентов способны автономно проводить исследования, они делают это изолированно, без возможности непрерывного улучшения предыдущих результатов. Для решения этих задач мы представляем AgentRxiv — фреймворк, который позволяет лабораториям агентов на основе больших языковых моделей (LLM) загружать и извлекать отчеты из общего сервера препринтов, чтобы сотрудничать, делиться идеями и итеративно развивать исследования друг друга. Мы поручаем лабораториям агентов разрабатывать новые методы рассуждения и формулирования запросов и обнаруживаем, что агенты, имеющие доступ к своим предыдущим исследованиям, достигают более значительного улучшения производительности по сравнению с агентами, работающими изолированно (относительное улучшение на 11,4% по сравнению с базовым уровнем на MATH-500). Мы также выясняем, что лучшая стратегия обобщается на бенчмарки в других областях (улучшение в среднем на 3,3%). Несколько лабораторий агентов, делящихся исследованиями через AgentRxiv, способны совместно работать над общей целью, продвигаясь быстрее, чем изолированные лаборатории, и достигая более высокой общей точности (относительное улучшение на 13,7% по сравнению с базовым уровнем на MATH-500). Эти результаты позволяют предположить, что автономные агенты могут играть роль в проектировании будущих систем ИИ совместно с людьми. Мы надеемся, что AgentRxiv позволит агентам сотрудничать в достижении исследовательских целей и поможет ученым ускорить процесс открытий.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.