Исследовательские агенты ИИ сужают научный поиск.

Аннотация

Исследовательские агенты на основе ИИ теперь способны генерировать научные идеи, разрабатывать эксперименты, запускать код и составлять проекты статей, что открывает возможность для масштабной научной деятельности с поддержкой искусственного интеллекта. Многие современные архитектуры агентов явно поощряют генерацию новых и высокоэффективных идей. Тем не менее, остается неясным, расширяет ли такая AI-поддерживаемая генерация идей область научных исследований или же в основном концентрируется вокруг существующих работ. Мы изучаем исследовательские AI-агенты как системы научного поиска. Используя четыре архитектуры исследовательских AI-агентов и шесть больших языковых моделей, мы генерируем 37 802 научные идеи на основе общей исходной литературы в определенных по цитированиям областях исследований в области ИИ и машинного обучения. Затем мы сравниваем полученные AI-идеи со статьями, написанными людьми из тех же исследовательских областей, с последующими человеческими исследованиями, развивающимися из той же исходной литературы, и с самой исходной литературой. В ходе экспериментов выявляются четыре устойчивые закономерности. Во-первых, AI-идеи существенно более сконцентрированы, чем статьи, написанные людьми, из тех же исследовательских областей. Во-вторых, AI-идеи остаются гораздо ближе к исходной литературе, чем последующие человеческие работы. В-третьих, статьи, наиболее похожие на AI-идеи, как правило, получают более низкое последующее цитирование. В-четвертых, когда AI-идеи отличаются от предшествующих работ, эти различия возникают в основном из-за рекомбинирования существующих технических методов, а не внедрения принципиально новых исследовательских вопросов. В целом, современные исследовательские AI-агенты, по-видимому, лучше подходят для локальной детализации, чем для расширения научных исследований.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.