AI研究エージェントによる科学探求の絞り込み

要旨

AI研究エージェントは現在、研究アイデアの生成、実験の設計、コードの実行、論文の草稿作成が可能であり、大規模なAI支援による科学的発見の可能性を高めている。現在の多くのエージェントフレームワークは、新規性が高くインパクトのあるアイデアの生成を明示的に促進している。しかし、AI支援によるアイデア創出が科学的探求を広げるのか、それとも主に既存の研究に集中するのかは依然として不明である。我々はAI研究エージェントを科学的探索システムとして研究する。4つのAI研究エージェントフレームワークと6つの大規模言語モデルを用いて、AIと機械学習における引用定義された研究領域の共有シード文献から37,802件の科学アイデアを生成する。次に、得られたAIアイデアを、同じ研究領域の人間による論文、同じシード文献から生まれたその後の人間の研究、およびシード文献自体と比較する。実験を通じて、4つの一貫したパターンが明らかになった。第一に、AI生成アイデアは同じ研究領域の人間による論文よりもはるかに集中している。第二に、AI生成アイデアは、その後の人間によるフォローアップ研究よりも、出発点の文献にかなり近いままである。第三に、AI生成アイデアに最も類似した論文は、その後の被引用数が低い傾向にある。第四に、AI生成アイデアが先行研究と異なる場合、その違いは主に既存の技術的手法の再結合に起因し、根本的に新しい研究課題を導入するものではない。全体として、現在のAI研究エージェントは、科学的探求を広げるよりも、局所的な精緻化に適しているように思われる。

English

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.