AgentRxiv : Vers une recherche autonome collaborative

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Auteurs: Samuel Schmidgall, Michael Moor

cs.AI

Résumé

Les progrès dans la découverte scientifique résultent rarement d'un seul moment "Eurêka", mais sont plutôt le fruit de la collaboration progressive de centaines de scientifiques travaillant vers un objectif commun. Bien que les workflows d'agents existants soient capables de produire des recherches de manière autonome, ils le font de manière isolée, sans la capacité d'améliorer continuellement les résultats de recherches antérieures. Pour relever ces défis, nous présentons AgentRxiv - un cadre qui permet aux laboratoires d'agents LLM de télécharger et de récupérer des rapports depuis un serveur de prépublications partagé afin de collaborer, partager des insights et construire itérativement sur les recherches de chacun. Nous confions aux laboratoires d'agents la tâche de développer de nouvelles techniques de raisonnement et d'incitation, et constatons que les agents ayant accès à leurs recherches antérieures obtiennent de meilleures améliorations de performance par rapport aux agents opérant de manière isolée (amélioration relative de 11,4% par rapport à la base sur MATH-500). Nous observons que la stratégie la plus performante se généralise à des benchmarks dans d'autres domaines (amélioration moyenne de 3,3%). Plusieurs laboratoires d'agents partageant des recherches via AgentRxiv sont capables de travailler ensemble vers un objectif commun, progressant plus rapidement que les laboratoires isolés, et atteignant une précision globale plus élevée (amélioration relative de 13,7% par rapport à la base sur MATH-500). Ces résultats suggèrent que les agents autonomes pourraient jouer un rôle dans la conception des futurs systèmes d'IA aux côtés des humains. Nous espérons qu'AgentRxiv permettra aux agents de collaborer vers des objectifs de recherche et aux chercheurs d'accélérer la découverte.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.