Agentes de Pesquisa em IA Restringem a Exploração Científica

Resumo

Agentes de pesquisa em IA agora podem gerar ideias de pesquisa, projetar experimentos, executar código e redigir artigos, levantando a possibilidade de descobertas científicas assistidas por IA em larga escala. Muitos arcabouços atuais de agentes incentivam explicitamente a geração de ideias novas e de alto impacto. No entanto, ainda não está claro se a ideação assistida por IA amplia a exploração científica ou se concentra principalmente em trabalhos existentes. Estudamos agentes de pesquisa em IA como sistemas de busca científica. Utilizando quatro arcabouços de agentes de pesquisa em IA e seis grandes modelos de linguagem, geramos 37.802 ideias científicas a partir de uma literatura de partida compartilhada, abrangendo áreas de pesquisa definidas por citações em IA e aprendizado de máquina. Em seguida, comparamos as ideias resultantes da IA com artigos escritos por humanos das mesmas áreas de pesquisa, com pesquisas humanas posteriores emergindo da mesma literatura de partida e com a própria literatura de partida. Ao longo dos experimentos, quatro padrões consistentes emergem. Primeiro, as ideias geradas por IA são substancialmente mais concentradas do que os artigos escritos por humanos das mesmas áreas de pesquisa. Segundo, as ideias geradas por IA permanecem muito mais próximas de sua literatura de partida do que os trabalhos humanos subsequentes. Terceiro, artigos mais semelhantes às ideias geradas por IA tendem a receber menos citações posteriores. Quarto, quando as ideias geradas por IA diferem de trabalhos anteriores, as diferenças surgem principalmente da recombinação de métodos técnicos existentes, e não da introdução de questões de pesquisa fundamentalmente novas. No geral, os atuais agentes de pesquisa em IA parecem mais adequados para a elaboração local do que para ampliar a exploração científica.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.