SUPER: 연구 저장소에서 작업 설정 및 실행 에이전트를 평가하기

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

저자: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

초록

대형 언어 모델(LLM)이 코드 작성에서 상당한 진전을 이루었음을 감안할 때, 이제 연구 저장소에서 결과를 자동으로 재현하는 데 사용할 수 있을까? 이러한 능력은 연구 커뮤니티에 큰 도움이 될 것으로, 연구자들이 이전 작업을 검증하고 이해하며 확장하는 데 도움이 될 것이다. 이 목표를 달성하기 위해, 우리는 LLM의 능력을 평가하기 위해 설계된 최초의 벤치마크인 SUPER를 소개한다. SUPER는 기계 학습(ML) 및 자연어 처리(NLP) 연구 저장소에서 작업을 설정하고 실행하는 능력을 평가하기 위해 고안되었다. 저희의 벤치마크는 주석이 달린 전문가 솔루션을 갖춘 45가지 end-to-end 문제, 전문가 집합에서 파생된 특정 도전에 초점을 맞춘 152가지 하위 문제(예: 트레이너 구성) 및 대규모 개발을 위해 자동으로 생성된 602가지 문제로 구성되어 있다. 우리는 과제 성공과 진행을 평가하기 위해 다양한 평가 척도를 소개하였으며, 가능한 경우 골드 솔루션을 활용하거나 그 외의 경우 근사치를 활용하였다. 최고의 모델(GPT-4o)이 end-to-end 세트의 16.3%와 시나리오의 46.1%만 해결하는 데 어려움을 겪는 것을 보여주었다. 이는 이 작업의 어려움을 보여주며, SUPER가 커뮤니티에게 진전을 이루고 측정하는 데 유용한 자원으로 기능할 수 있다는 것을 시사한다.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.