Qu'est-ce qui fait un bon agent de recherche en IA ? Étude du rôle de la diversité idéationnelle
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
November 19, 2025
papers.authors: Alexis Audran-Reiss, Jordi Armengol Estapé, Karen Hambardzumyan, Amar Budhiraja, Martin Josifoski, Edan Toledo, Rishi Hazra, Despoina Magka, Michael Shvartsman, Parth Pathak, Justine T Kao, Lucia Cipolina-Kun, Bhavul Gauri, Jean-Christophe Gagnon-Audet, Emanuel Tewolde, Jenny Zhang, Taco Cohen, Yossi Adi, Tatiana Shavrina, Yoram Bachrach
cs.AI
papers.abstract
Les agents de recherche en IA offrent la promesse d'accélérer le progrès scientifique en automatisant la conception, l'implémentation et l'entraînement des modèles d'apprentissage automatique. Cependant, le domaine n'en est qu'à ses débuts, et les facteurs clés déterminant le succès ou l'échec des trajectoires des agents ne sont pas entièrement compris. Nous examinons le rôle que joue la diversité d'idéation dans la performance des agents. Premièrement, nous analysons les trajectoires des agents sur MLE-bench, un benchmark reconnu pour évaluer les agents de recherche en IA, à travers différents modèles et échafaudages d'agents. Notre analyse révèle que différents modèles et échafaudages d'agents produisent des degrés variables de diversité d'idéation, et que les agents les plus performants tendent à présenter une diversité d'idéation accrue. De plus, nous menons une expérience contrôlée où nous modifions le degré de diversité d'idéation, démontrant qu'une plus grande diversité d'idéation entraîne une performance supérieure. Enfin, nous consolidons nos résultats en examinant des métriques d'évaluation supplémentaires au-delà du système de notation standard par médailles de MLE-bench, montrant que nos conclusions restent valables sur d'autres métriques de performance des agents.
English
AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.