AgentRxiv: Op Weg naar Collaboratief Autonoom Onderzoek

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Auteurs: Samuel Schmidgall, Michael Moor

cs.AI

Samenvatting

Vooruitgang in wetenschappelijke ontdekkingen is zelden het resultaat van een enkel "Eureka"-moment, maar eerder het product van honderden wetenschappers die geleidelijk samenwerken aan een gemeenschappelijk doel. Hoewel bestaande agentworkflows in staat zijn om autonoom onderzoek te produceren, doen ze dit in isolatie, zonder de mogelijkheid om voortdurend voort te bouwen op eerdere onderzoeksresultaten. Om deze uitdagingen aan te pakken, introduceren we AgentRxiv - een raamwerk dat LLM-agentlaboratoria in staat stelt om rapporten te uploaden en op te halen van een gedeelde preprintserver om samen te werken, inzichten te delen en iteratief voort te bouwen op elkaars onderzoek. We geven agentlaboratoria de opdracht om nieuwe redeneer- en prompttechnieken te ontwikkelen en ontdekken dat agenten met toegang tot hun eerdere onderzoek hogere prestatieverbeteringen behalen in vergelijking met agenten die in isolatie werken (11,4% relatieve verbetering ten opzichte van de baseline op MATH-500). We constateren dat de best presterende strategie generaliseert naar benchmarks in andere domeinen (gemiddeld 3,3% verbetering). Meerdere agentlaboratoria die onderzoek delen via AgentRxiv zijn in staat om samen te werken aan een gemeenschappelijk doel, sneller vooruitgang te boeken dan geïsoleerde laboratoria en een hogere algehele nauwkeurigheid te bereiken (13,7% relatieve verbetering ten opzichte van de baseline op MATH-500). Deze bevindingen suggereren dat autonome agenten een rol kunnen spelen bij het ontwerpen van toekomstige AI-systemen naast mensen. We hopen dat AgentRxiv agenten in staat stelt om samen te werken aan onderzoeksdoelen en onderzoekers in staat stelt om ontdekkingen te versnellen.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.