Les agents de recherche en IA resserrent le champ de l'exploration scientifique

Résumé

Les agents de recherche en IA peuvent désormais générer des idées de recherche, concevoir des expériences, exécuter du code et rédiger des articles, ouvrant la possibilité d'une découverte scientifique assistée par l'IA à grande échelle. De nombreux frameworks d'agents actuels encouragent explicitement la génération d'idées nouvelles et à fort impact. Pourtant, on ne sait pas encore si l'idéation assistée par l'IA élargit l'exploration scientifique ou se concentre principalement autour des travaux existants. Nous étudions les agents de recherche en IA en tant que systèmes de recherche scientifique. En utilisant quatre frameworks d'agents de recherche en IA et six grands modèles de langage, nous générons 37 802 idées scientifiques à partir de littérature séminale partagée, dans des domaines de recherche définis par les citations en IA et en apprentissage automatique. Nous comparons ensuite les idées issues de l'IA avec des articles rédigés par des humains dans les mêmes domaines de recherche, les travaux humains ultérieurs émergeant de la même littérature séminale, et la littérature séminale elle-même. À travers les expériences, quatre tendances cohérentes émergent. Premièrement, les idées générées par l'IA sont nettement plus concentrées que les articles rédigés par des humains dans les mêmes domaines de recherche. Deuxièmement, les idées générées par l'IA restent beaucoup plus proches de leur littérature de départ que les travaux humains ultérieurs. Troisièmement, les articles les plus similaires aux idées générées par l'IA tendent à recevoir moins de citations ultérieures. Quatrièmement, lorsque les idées générées par l'IA diffèrent des travaux antérieurs, ces différences proviennent principalement de la recombinaison de méthodes techniques existantes plutôt que de l'introduction de questions de recherche fondamentalement nouvelles. Dans l'ensemble, les agents de recherche en IA actuels semblent mieux adaptés à l'élaboration locale qu'à l'élargissement de l'exploration scientifique.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.