優れたAI研究エージェントになるには何が必要か？発想の多様性の役割に関する研究

要旨

AI研究エージェントは、機械学習モデルの設計・実装・学習を自動化することで科学の進歩を加速させる可能性を秘めています。しかし、この分野はまだ発展途上であり、エージェントの軌跡の成功や失敗を左右する主要因は完全には解明されていません。本研究では、アイデア創出の多様性がエージェントの性能に果たす役割を検証します。まず、AI研究エージェントを評価する著名なベンチマークであるMLE-benchにおいて、異なるモデルとエージェントスキャフォールドによる軌跡を分析します。分析の結果、モデルやエージェントスキャフォールドによってアイデア創出の多様性の程度が異なり、高性能なエージェントほど多様性が増す傾向があることが明らかになりました。さらに、アイデア創出の多様性の度合いを人為的に変更する制御実験を行い、多様性が高いほど性能が向上することを実証します。最後に、MLE-benchの標準的なメダルベース評価に加えて追加の評価指標を検討することで結果の信頼性を高め、我々の発見が他のエージェント性能指標においても成立することを示します。

English

AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.

優れたAI研究エージェントになるには何が必要か？発想の多様性の役割に関する研究

What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity

要旨

Support