AI-onderzoeksagenten versmallen wetenschappelijke exploratie

Samenvatting

AI-onderzoeksagenten kunnen nu onderzoeksideeën genereren, experimenten ontwerpen, code uitvoeren en artikelen opstellen, wat de mogelijkheid van grootschalige AI-ondersteunde wetenschappelijke ontdekkingen doet toenemen. Veel huidige agentkaders moedigen expliciet het genereren van nieuwe en impactvolle ideeën aan. Toch blijft het onduidelijk of AI-ondersteunde ideevorming het wetenschappelijk onderzoek verbreedt of zich vooral concentreert rond bestaand werk. Wij bestuderen AI-onderzoeksagenten als wetenschappelijke zoeksystemen. Met behulp van vier AI-onderzoeksagentkaders en zes grote taalmodellen genereren we 37.802 wetenschappelijke ideeën op basis van gedeelde startliteratuur uit door citaties gedefinieerde onderzoeksgebieden in AI en machine learning. Vervolgens vergelijken we de resulterende AI-ideeën met door mensen geschreven artikelen uit dezelfde onderzoeksgebieden, met later menselijk onderzoek dat uit dezelfde startliteratuur voortkomt, en met de startliteratuur zelf. In alle experimenten komen vier consistente patronen naar voren. Ten eerste zijn AI-gegenereerde ideeën aanzienlijk meer geconcentreerd dan door mensen geschreven artikelen uit dezelfde onderzoeksgebieden. Ten tweede blijven AI-gegenereerde ideeën veel dichter bij hun startliteratuur dan later menselijk vervolgwerk. Ten derde ontvangen artikelen die het meest lijken op AI-gegenereerde ideeën doorgaans lagere vervolgcitaties. Ten vierde, wanneer AI-gegenereerde ideeën afwijken van eerder werk, komen de verschillen voornamelijk voort uit het hercombineren van bestaande technische methoden, niet uit het introduceren van fundamenteel nieuwe onderzoeksvragen. Over het algemeen lijken de huidige AI-onderzoeksagenten beter geschikt voor lokale uitwerking dan voor het verbreden van wetenschappelijk onderzoek.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.