Cosa Serve per Essere un Buon Agente di Ricerca in IA? Studio sul Ruolo della Diversità Ideativa
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
November 19, 2025
Autori: Alexis Audran-Reiss, Jordi Armengol Estapé, Karen Hambardzumyan, Amar Budhiraja, Martin Josifoski, Edan Toledo, Rishi Hazra, Despoina Magka, Michael Shvartsman, Parth Pathak, Justine T Kao, Lucia Cipolina-Kun, Bhavul Gauri, Jean-Christophe Gagnon-Audet, Emanuel Tewolde, Jenny Zhang, Taco Cohen, Yossi Adi, Tatiana Shavrina, Yoram Bachrach
cs.AI
Abstract
Gli agenti di ricerca basati sull'intelligenza artificiale promettono di accelerare il progresso scientifico automatizzando la progettazione, l'implementazione e l'addestramento di modelli di machine learning. Tuttavia, il campo è ancora alle sue fasi iniziali e i fattori chiave che determinano il successo o il fallimento delle traiettorie degli agenti non sono ancora del tutto compresi. Esaminiamo il ruolo che la diversità ideativa gioca nella performance degli agenti. In primo luogo, analizziamo le traiettorie degli agenti su MLE-bench, un benchmark noto per valutare gli agenti di ricerca IA, attraverso diversi modelli e architetture di agenti. La nostra analisi rivela che modelli e architetture diverse producono diversi gradi di diversità ideativa, e che gli agenti con prestazioni superiori tendono ad avere una maggiore diversità ideativa. Inoltre, conduciamo un esperimento controllato in cui modifichiamo il grado di diversità ideativa, dimostrando che una maggiore diversità ideativa si traduce in prestazioni più solide. Infine, rafforziamo i nostri risultati esaminando metriche di valutazione aggiuntive oltre al punteggio standard basato su medaglie di MLE-bench, mostrando che le nostre scoperte rimangono valide anche attraverso altre metriche di performance degli agenti.
English
AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.