ÉVALUATION SUPER: Évaluation des agents pour la configuration et l'exécution de tâches à partir de référentiels de recherche

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Auteurs: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Résumé

Étant donné que les Modèles de Langage de Grande Taille (LLMs) ont réalisé des progrès significatifs dans la rédaction de code, peuvent-ils maintenant être utilisés pour reproduire de manière autonome les résultats des dépôts de recherche ? Une telle capacité serait un atout pour la communauté de recherche, aidant les chercheurs à valider, comprendre et étendre les travaux antérieurs. Pour progresser vers cet objectif, nous présentons SUPER, le premier banc d'essai conçu pour évaluer la capacité des LLMs à configurer et exécuter des tâches à partir de dépôts de recherche. SUPER vise à capturer les défis réalistes auxquels sont confrontés les chercheurs travaillant avec des dépôts de recherche en Apprentissage Automatique (ML) et en Traitement du Langage Naturel (NLP). Notre banc d'essai comprend trois ensembles de problèmes distincts : 45 problèmes de bout en bout avec des solutions d'experts annotées, 152 sous-problèmes dérivés de l'ensemble d'experts qui se concentrent sur des défis spécifiques (par exemple, la configuration d'un entraîneur), et 602 problèmes générés automatiquement pour un développement à plus grande échelle. Nous introduisons diverses mesures d'évaluation pour évaluer à la fois le succès des tâches et les progrès, en utilisant des solutions de référence lorsque disponibles ou des approximations sinon. Nous montrons que les approches de pointe ont du mal à résoudre ces problèmes, le meilleur modèle (GPT-4o) ne résolvant que 16,3 % de l'ensemble de bout en bout et 46,1 % des scénarios. Cela illustre le défi de cette tâche et suggère que SUPER peut servir de ressource précieuse pour la communauté afin de réaliser et mesurer les progrès.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.