SUPER: Evaluierung von Agenten beim Einrichten und Ausführen von Aufgaben aus Forschungs-Repositories

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Autoren: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Zusammenfassung

Angesichts der Tatsache, dass Large Language Models (LLMs) erhebliche Fortschritte beim Schreiben von Code gemacht haben, können sie nun verwendet werden, um Ergebnisse aus Forschungs-Repositories autonom zu reproduzieren? Eine solche Fähigkeit wäre ein Segen für die Forschungsgemeinschaft, da sie Forschern helfen würde, frühere Arbeiten zu validieren, zu verstehen und zu erweitern. Um dieses Ziel voranzutreiben, stellen wir SUPER vor, den ersten Benchmark, der entwickelt wurde, um die Fähigkeit von LLMs zu bewerten, Aufgaben aus Forschungs-Repositories einzurichten und auszuführen. SUPER zielt darauf ab, die realistischen Herausforderungen zu erfassen, mit denen Forscher konfrontiert sind, die mit Machine Learning (ML) und Natural Language Processing (NLP) Forschungs-Repositories arbeiten. Unser Benchmark umfasst drei unterschiedliche Problemsets: 45 End-to-End-Probleme mit annotierten Expertenlösungen, 152 Unterprobleme, die aus dem Expertenset abgeleitet sind und sich auf spezifische Herausforderungen konzentrieren (z.B. Konfiguration eines Trainers), und 602 automatisch generierte Probleme für die Entwicklung im größeren Maßstab. Wir führen verschiedene Bewertungsmethoden ein, um sowohl den Erfolg bei der Aufgabenerfüllung als auch den Fortschritt zu bewerten, wobei Goldlösungen verwendet werden, wenn verfügbar, oder andernfalls Annäherungen. Wir zeigen, dass State-of-the-Art-Ansätze Schwierigkeiten haben, diese Probleme zu lösen, wobei das beste Modell (GPT-4o) nur 16,3% des End-to-End-Sets und 46,1% der Szenarien löst. Dies verdeutlicht die Herausforderung dieser Aufgabe und legt nahe, dass SUPER eine wertvolle Ressource für die Gemeinschaft darstellen kann, um Fortschritte zu erzielen und zu messen.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.