¿Qué Se Necesita para Ser un Buen Agente de Investigación en IA? Estudiando el Papel de la Diversidad de Ideas
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
November 19, 2025
Autores: Alexis Audran-Reiss, Jordi Armengol Estapé, Karen Hambardzumyan, Amar Budhiraja, Martin Josifoski, Edan Toledo, Rishi Hazra, Despoina Magka, Michael Shvartsman, Parth Pathak, Justine T Kao, Lucia Cipolina-Kun, Bhavul Gauri, Jean-Christophe Gagnon-Audet, Emanuel Tewolde, Jenny Zhang, Taco Cohen, Yossi Adi, Tatiana Shavrina, Yoram Bachrach
cs.AI
Resumen
Los agentes de investigación de IA ofrecen la promesa de acelerar el progreso científico automatizando el diseño, la implementación y el entrenamiento de modelos de aprendizaje automático. Sin embargo, el campo aún se encuentra en su infancia, y los factores clave que determinan el éxito o el fracaso de las trayectorias de los agentes no se comprenden completamente. Examinamos el papel que juega la diversidad de ideas en el rendimiento de los agentes. Primero, analizamos las trayectorias de los agentes en MLE-bench, un punto de referencia conocido para evaluar agentes de investigación de IA, a través de diferentes modelos y arquitecturas de agentes. Nuestro análisis revela que diferentes modelos y arquitecturas de agentes producen distintos grados de diversidad de ideas, y que los agentes con mejor rendimiento tienden a tener una mayor diversidad de ideas. Además, realizamos un experimento controlado donde modificamos el grado de diversidad de ideas, demostrando que una mayor diversidad de ideas resulta en un rendimiento más sólido. Finalmente, reforzamos nuestros resultados examinando métricas de evaluación adicionales más allá de la puntuación estándar basada en medallas de MLE-bench, mostrando que nuestros hallazgos se mantienen en otras métricas de rendimiento de agentes.
English
AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.