SUPER: Het evalueren van agenten bij het opzetten en uitvoeren van taken uit onderzoeksrepositories.

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Auteurs: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Samenvatting

Gezien het feit dat Grote Taalmodellen (LLMs) aanzienlijke vooruitgang hebben geboekt in het schrijven van code, kunnen ze nu worden gebruikt om autonoom resultaten uit onderzoeksrepositories te reproduceren? Een dergelijke mogelijkheid zou een zegen zijn voor de onderzoeksgemeenschap, omdat het onderzoekers zou helpen eerdere werkzaamheden te valideren, begrijpen en uit te breiden. Om vooruitgang te boeken naar dit doel, introduceren we SUPER, de eerste benchmark die is ontworpen om de capaciteit van LLMs te evalueren bij het opzetten en uitvoeren van taken uit onderzoeksrepositories. SUPER heeft tot doel de realistische uitdagingen vast te leggen waarmee onderzoekers worden geconfronteerd bij het werken met Machine Learning (ML) en Natuurlijke Taalverwerking (NLP) onderzoeksrepositories. Onze benchmark bestaat uit drie verschillende probleemsets: 45 end-to-end problemen met geannoteerde expertoplossingen, 152 subproblemen afgeleid van de expertset die zich richten op specifieke uitdagingen (bijv. het configureren van een trainer), en 602 automatisch gegenereerde problemen voor grootschalige ontwikkeling. We introduceren verschillende evaluatiemethoden om zowel taaksucces als voortgang te beoordelen, waarbij gebruik wordt gemaakt van gouden oplossingen indien beschikbaar of anders benaderingen. We tonen aan dat state-of-the-art benaderingen moeite hebben om deze problemen op te lossen, waarbij het beste model (GPT-4o) slechts 16,3% van de end-to-end set oplost en 46,1% van de scenario's. Dit illustreert de uitdaging van deze taak en suggereert dat SUPER een waardevolle bron kan zijn voor de gemeenschap om vooruitgang te boeken en te meten.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.