Wat is er voor nodig om een goede AI-onderzoeksagent te zijn? Onderzoek naar de rol van ideeëndiversiteit
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
November 19, 2025
Auteurs: Alexis Audran-Reiss, Jordi Armengol Estapé, Karen Hambardzumyan, Amar Budhiraja, Martin Josifoski, Edan Toledo, Rishi Hazra, Despoina Magka, Michael Shvartsman, Parth Pathak, Justine T Kao, Lucia Cipolina-Kun, Bhavul Gauri, Jean-Christophe Gagnon-Audet, Emanuel Tewolde, Jenny Zhang, Taco Cohen, Yossi Adi, Tatiana Shavrina, Yoram Bachrach
cs.AI
Samenvatting
AI-onderzoeksagenten beloven wetenschappelijke vooruitgang te versnellen door het ontwerp, de implementatie en de training van machine learning-modellen te automatiseren. Desalniettemin bevindt het vakgebied zich nog in de kinderschoenen en zijn de belangrijkste factoren die het succes of falen van agenttrajecten bepalen niet volledig begrepen. Wij onderzoeken de rol die diversiteit in ideeontwikkeling speelt bij de prestaties van agenten. Ten eerste analyseren we agenttrajecten op MLE-bench, een bekende benchmark voor het evalueren van AI-onderzoeksagenten, bij verschillende modellen en agentscaffolds. Onze analyse toont aan dat verschillende modellen en agentscaffolds uiteenlopende niveaus van diversiteit in ideeontwikkeling opleveren, en dat beter presterende agenten de neiging hebben tot een grotere diversiteit. Vervolgens voeren we een gecontroleerd experiment uit waarbij we de mate van diversiteit aanpassen, en tonen aan dat een hogere diversiteit leidt tot betere prestaties. Tot slot versterken we onze resultaten door aanvullende evaluatiemetrices te onderzoeken die verder gaan dan de standaard medaille-gebaseerde score van MLE-bench, en laten we zien dat onze bevindingen ook standhouden bij andere prestatiemetrices voor agenten.
English
AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.