AgentRxiv: Rumo à Pesquisa Autônoma Colaborativa

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Autores: Samuel Schmidgall, Michael Moor

cs.AI

Resumo

O progresso na descoberta científica raramente é o resultado de um único momento de "Eureka", mas sim o produto de centenas de cientistas trabalhando incrementalmente em conjunto em direção a um objetivo comum. Embora os fluxos de trabalho existentes de agentes sejam capazes de produzir pesquisas de forma autônoma, eles o fazem isoladamente, sem a capacidade de melhorar continuamente os resultados de pesquisas anteriores. Para enfrentar esses desafios, apresentamos o AgentRxiv - uma estrutura que permite que laboratórios de agentes de LLM enviem e recuperem relatórios de um servidor de pré-publicações compartilhado, a fim de colaborar, compartilhar insights e construir iterativamente sobre as pesquisas uns dos outros. Atribuímos a laboratórios de agentes a tarefa de desenvolver novas técnicas de raciocínio e de prompt, e descobrimos que agentes com acesso às suas pesquisas anteriores alcançam melhorias de desempenho maiores em comparação com agentes operando isoladamente (melhoria relativa de 11,4% sobre a linha de base no MATH-500). Descobrimos que a estratégia de melhor desempenho se generaliza para benchmarks em outros domínios (melhorando em média 3,3%). Múltiplos laboratórios de agentes compartilhando pesquisas através do AgentRxiv são capazes de trabalhar juntos em direção a um objetivo comum, progredindo mais rapidamente do que laboratórios isolados, alcançando uma precisão geral maior (melhoria relativa de 13,7% sobre a linha de base no MATH-500). Esses achados sugerem que agentes autônomos podem desempenhar um papel no design de futuros sistemas de IA ao lado de humanos. Esperamos que o AgentRxiv permita que agentes colaborem para alcançar objetivos de pesquisa e que os pesquisadores acelerem a descoberta.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.