SUPER: 研究リポジトリからのタスク設定と実行におけるエージェントの評価

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

著者: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

要旨

大規模言語モデル（LLMs）がコードの執筆において大きな進歩を遂げていることを考慮すると、これらは今や研究リポジトリからの結果を自律的に再現するために使用できるでしょうか？この能力は研究コミュニティにとって大きな利益となり、研究者が以前の研究を検証し理解し拡張するのに役立ちます。この目標に向けて進むために、私たちは、LLMsの能力を評価するために設計された最初のベンチマークであるSUPERを紹介します。SUPERは、機械学習（ML）および自然言語処理（NLP）の研究リポジトリで作業する研究者が直面する現実的な課題を捉えることを目指しています。当社のベンチマークには、アノテーション付きの専門家ソリューションを持つ45のエンドツーエンド問題、専門家セットから派生した特定の課題に焦点を当てた152のサブ問題（例：トレーナーの設定）、および大規模な開発のために自動生成された602の問題が含まれています。我々は、タスクの成功と進捗を評価するためにさまざまな評価尺度を導入し、可能な場合はゴールドソリューションを使用し、それ以外の場合は近似値を使用します。最高のモデル（GPT-4o）でもエンドツーエンドセットの16.3％、シナリオの46.1％しか解決できないことを示しました。これはこのタスクの難しさを示しており、SUPERがコミュニティにとって進歩を遂げるための貴重なリソースとなり得ることを示唆しています。

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.