SUPER: Valutazione degli Agenti nella Configurazione ed Esecuzione di Compiti dai Repository di Ricerca

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Autori: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Abstract

Dato che i Grandi Modelli Linguistici (LLM) hanno fatto progressi significativi nella scrittura di codice, possono ora essere utilizzati per riprodurre autonomamente i risultati dai repository di ricerca? Tale capacità sarebbe un vantaggio per la comunità di ricerca, aiutando i ricercatori a convalidare, comprendere ed estendere lavori precedenti. Per avanzare verso questo obiettivo, presentiamo SUPER, il primo benchmark progettato per valutare la capacità dei LLM nel configurare ed eseguire compiti dai repository di ricerca. SUPER mira a catturare le sfide realistiche affrontate dai ricercatori che lavorano con i repository di ricerca di Machine Learning (ML) e Elaborazione del Linguaggio Naturale (NLP). Il nostro benchmark comprende tre insiemi di problemi distinti: 45 problemi end-to-end con soluzioni esperte annotate, 152 sottoproblemi derivati dall'insieme esperto che si concentrano su sfide specifiche (ad esempio, configurare un trainer), e 602 problemi generati automaticamente per lo sviluppo su larga scala. Introduciamo varie misure di valutazione per valutare sia il successo del compito che il progresso, utilizzando soluzioni gold quando disponibili o approssimazioni diversamente. Mostrando che gli approcci all'avanguardia faticano a risolvere questi problemi con il miglior modello (GPT-4o) che risolve solo il 16,3% dell'insieme end-to-end e il 46,1% degli scenari. Questo illustra la sfida di questo compito e suggerisce che SUPER possa fungere da risorsa preziosa per la comunità per fare e misurare progressi.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.