SUPER: Оценка агентов по настройке и выполнению задач из исследовательских репозиториев

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Авторы: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Аннотация

Учитывая, что большие языковые модели (LLM) значительно продвинулись в написании кода, могут ли они теперь использоваться для автономного воспроизведения результатов из репозиториев исследований? Такая возможность была бы огромным преимуществом для научного сообщества, помогая исследователям проверять, понимать и расширять предыдущие работы. Для продвижения к этой цели мы представляем SUPER, первый бенчмарк, разработанный для оценки способности LLM в настройке и выполнении задач из репозиториев исследований. SUPER нацелен на воссоздание реалистичных вызовов, с которыми сталкиваются исследователи, работающие с репозиториями исследований по машинному обучению (ML) и обработке естественного языка (NLP). Наш бенчмарк включает три отдельных набора задач: 45 комплексных задач с аннотированными экспертными решениями, 152 подзадачи, вытекающие из экспертного набора и фокусирующиеся на конкретных вызовах (например, настройка тренера), и 602 автоматически сгенерированные задачи для разработки большего масштаба. Мы представляем различные меры оценки для оценки как успешности выполнения задач, так и прогресса, используя золотые решения, если они доступны, или приближения в противном случае. Мы показываем, что современные подходы борются с решением этих задач, лучшая модель (GPT-4o) решает только 16,3% комплексного набора и 46,1% сценариев. Это иллюстрирует сложность этой задачи и предполагает, что SUPER может служить ценным ресурсом для сообщества для создания и измерения прогресса.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.