IDEAgent: 研究アイデア生成のためのエージェント型品質-多様性探索

要旨

大規模言語モデル（LLMs）は、ここ数年で科学発見のプロセスを大幅に自動化してきた。しかしながら、既存システムには一つの根本的な限界がある。すなわち、アイデアを生成・最適化する際に、質（Quality）か多様性（Diversity）のいずれか一方のみを独立して考慮する点である。このため、互いに近接したアイデアや、大量の些細で不健全、あるいは不明瞭な概念が生成されることが多い。本研究では、これに代わり、研究アイデア創出は両方の目的を連携して扱うべきであり、質-多様性（QD）探索として捉えるべきだと主張する。この観点に基づき、アイデアの系統を通じた進化を管理するマルチエージェントフレームワーク、IDEAgentを導入する。質（Quality）については、専用の修復と洗練のための多目的フィードバックを用いて共同で推進し、多様性（Diversity）については、軽量な逐次記憶と、完成済みアイデア、その履歴上の祖先、却下された提案との明示的な比較を通じて達成する。このQD連携を体系的に評価するために、あらかじめ設定された質の閾値を満たす、相互に多様なアイデアの最大集合を計算する結合指標であるYieldを開発する。最後に、コンピュータ科学の8つの領域にわたる32のトピックでの評価を通じて、IDEAgentがYieldにおいて最良のベースラインを3.89倍上回り、8倍多いトピックで非ゼロのYieldを達成することを示す。さらに、質の改善の分析を通じてこれらの知見を裏付け、修復と洗練が、非自明性を維持しつつ論理的厳密性と明確性を構築する上で重要であることを示す。QD探索に基づくアイデア創出に関する今後の研究を促進するため、IDEAgentをhttps://github.com/declare-lab/IDEAgentでオープンソースとして公開する。

English

Large Language Models (LLMs) have significantly automated the process of scientific discovery over the past few years. However, existing systems share one core limitation: they generate and optimize ideas independently for either Quality or Diversity. This often leads to the generation of ideas in close proximity to one another or to a large set of trivial, unsound, or unclear concepts. In this work, we instead argue that research ideation should be treated as a conjunction of both objectives and framed as a Quality-Diversity (QD) search. In line with this perspective, we introduce IDEAgent, a multi-agent framework that manages the evolution of ideas through lineages. We jointly drive Quality using multi-objective feedback for dedicated repair and refinement, while Diversity is achieved through lightweight sequential memory and explicit comparison against completed ideas, their historical ancestors, and rejected proposals. To systematically evaluate this QD conjunction, we develop Yield, a joint metric that computes the largest set of mutually diverse ideas that satisfy a predetermined quality threshold. Finally, through evaluations across 32 topics spanning 8 domains of Computer Science, we show that IDEAgent outperforms the best baseline by 3.89x on Yield, while achieving non-zero Yield on 8x more topics. We further corroborate these findings through an analysis of quality improvements, showing that repair and refinement are crucial for building logical rigor and clarity while preserving non-obviousness. To encourage future research on QD-search-based ideation, we open-source IDEAgent at https://github.com/declare-lab/IDEAgent.