Los agentes de investigación de IA acotan la exploración científica.

Resumen

Los agentes de investigación basados en IA pueden ahora generar ideas de investigación, diseñar experimentos, ejecutar código y redactar artículos, lo que plantea la posibilidad de un descubrimiento científico asistido por IA a gran escala. Muchos marcos actuales de agentes fomentan explícitamente la generación de ideas novedosas y de alto impacto. Sin embargo, aún no está claro si la ideación asistida por IA amplía la exploración científica o se concentra principalmente en torno a trabajos existentes. Estudiamos los agentes de investigación de IA como sistemas de búsqueda científica. Utilizando cuatro marcos de agentes de investigación de IA y seis modelos de lenguaje grandes, generamos 37,802 ideas científicas a partir de literatura semilla compartida en áreas de investigación definidas por citas dentro de la IA y el aprendizaje automático. Luego comparamos las ideas resultantes de la IA con artículos escritos por humanos de las mismas áreas de investigación, con investigaciones humanas posteriores que surgieron de la misma literatura semilla, y con la propia literatura semilla. En todos los experimentos, surgen cuatro patrones consistentes. Primero, las ideas generadas por IA están sustancialmente más concentradas que los artículos escritos por humanos de las mismas áreas de investigación. Segundo, las ideas generadas por IA permanecen mucho más cerca de su literatura inicial que los trabajos humanos posteriores. Tercero, los artículos más similares a las ideas generadas por IA tienden a recibir menos citas posteriores. Cuarto, cuando las ideas generadas por IA difieren del trabajo previo, las diferencias surgen principalmente de la recombinación de métodos técnicos existentes, en lugar de introducir preguntas de investigación fundamentalmente nuevas. En general, los agentes de investigación de IA actuales parecen más adecuados para la elaboración local que para ampliar la exploración científica.

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.