KI-Forschungsagenten schränken wissenschaftliche Exploration ein

Zusammenfassung

KI-Forschungsagenten können nun Forschungsideen generieren, Experimente entwerfen, Code ausführen und Manuskripte verfassen, was die Möglichkeit einer groß angelegten KI-gestützten wissenschaftlichen Entdeckung eröffnet. Viele aktuelle Agenten-Frameworks fördern explizit die Generierung neuartiger und wirkungsvoller Ideen. Dennoch bleibt unklar, ob KI-gestützte Ideenfindung die wissenschaftliche Erkundung erweitert oder sich hauptsächlich auf bestehende Arbeiten konzentriert. Wir untersuchen KI-Forschungsagenten als Systeme der wissenschaftlichen Suche. Unter Verwendung von vier KI-Forschungsagenten-Frameworks und sechs großen Sprachmodellen generieren wir 37.802 wissenschaftliche Ideen aus gemeinsamer Ausgangsliteratur, die durch Zitierungsnetzwerke definierte Forschungsbereiche in KI und maschinellem Lernen abdeckt. Anschließend vergleichen wir die resultierenden KI-Ideen mit von Menschen verfassten Arbeiten aus denselben Forschungsbereichen, mit nachfolgender menschlicher Forschung, die aus derselben Ausgangsliteratur hervorgeht, sowie mit der Ausgangsliteratur selbst. Über alle Experimente hinweg zeigen sich vier konsistente Muster. Erstens sind KI-generierte Ideen deutlich konzentrierter als von Menschen verfasste Arbeiten aus denselben Forschungsbereichen. Zweitens bleiben KI-generierte Ideen ihrer Ausgangsliteratur wesentlich näher als spätere menschliche Folgearbeiten. Drittens erhalten Arbeiten, die KI-generierten Ideen am ähnlichsten sind, tendenziell weniger nachfolgende Zitationen. Viertens, wenn KI-generierte Ideen von früheren Arbeiten abweichen, entstehen die Unterschiede hauptsächlich durch die Neukombination bestehender technischer Methoden und nicht durch die Einführung grundlegend neuer Forschungsfragen. Insgesamt scheinen aktuelle KI-Forschungsagenten besser für lokale Ausarbeitungen geeignet zu sein als für die Erweiterung der wissenschaftlichen Erkundung.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.