AgentRxiv: Hacia la Investigación Autónoma Colaborativa

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Autores: Samuel Schmidgall, Michael Moor

cs.AI

Resumen

El progreso en el descubrimiento científico rara vez es el resultado de un único momento "Eureka", sino más bien el producto de cientos de científicos trabajando de manera incremental hacia un objetivo común. Si bien los flujos de trabajo de agentes existentes son capaces de producir investigación de forma autónoma, lo hacen de manera aislada, sin la capacidad de mejorar continuamente los resultados de investigaciones previas. Para abordar estos desafíos, presentamos AgentRxiv, un marco que permite a los laboratorios de agentes basados en LLM cargar y recuperar informes de un servidor de preprints compartido, con el fin de colaborar, compartir ideas y construir de manera iterativa sobre las investigaciones de los demás. Asignamos a los laboratorios de agentes la tarea de desarrollar nuevas técnicas de razonamiento y prompting, y encontramos que los agentes con acceso a sus investigaciones previas logran mejoras de rendimiento superiores en comparación con los agentes que operan de forma aislada (una mejora relativa del 11,4% sobre la línea base en MATH-500). Descubrimos que la estrategia de mejor rendimiento se generaliza a puntos de referencia en otros dominios (mejorando en promedio un 3,3%). Múltiples laboratorios de agentes que comparten investigación a través de AgentRxiv son capaces de trabajar juntos hacia un objetivo común, progresando más rápidamente que los laboratorios aislados y logrando una mayor precisión general (una mejora relativa del 13,7% sobre la línea base en MATH-500). Estos hallazgos sugieren que los agentes autónomos podrían desempeñar un papel en el diseño de futuros sistemas de IA junto con los humanos. Esperamos que AgentRxiv permita a los agentes colaborar hacia objetivos de investigación y ayude a los investigadores a acelerar el descubrimiento.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.