SUPER: Evaluación de Agentes en el Establecimiento y Ejecución de Tareas de Repositorios de Investigación

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

September 11, 2024

Autores: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot

cs.AI

Resumen

Dado que los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han avanzado significativamente en la escritura de código, ¿pueden ahora ser utilizados para reproducir de manera autónoma resultados de repositorios de investigación? Tal capacidad sería de gran ayuda para la comunidad investigadora, ayudando a validar, comprender y ampliar trabajos previos. Para avanzar hacia este objetivo, presentamos SUPER, el primer banco de pruebas diseñado para evaluar la capacidad de los LLMs para configurar y ejecutar tareas de repositorios de investigación. SUPER tiene como objetivo capturar los desafíos realistas a los que se enfrentan los investigadores que trabajan con repositorios de investigación de Aprendizaje Automático (ML, por sus siglas en inglés) y Procesamiento del Lenguaje Natural (NLP, por sus siglas en inglés). Nuestro banco de pruebas consta de tres conjuntos de problemas distintos: 45 problemas de extremo a extremo con soluciones expertas anotadas, 152 subproblemas derivados del conjunto de expertos que se centran en desafíos específicos (por ejemplo, configurar un entrenador), y 602 problemas generados automáticamente para un desarrollo a mayor escala. Introducimos diversas medidas de evaluación para evaluar tanto el éxito de la tarea como el progreso, utilizando soluciones de referencia cuando estén disponibles o aproximaciones en caso contrario. Mostramos que los enfoques de vanguardia tienen dificultades para resolver estos problemas, siendo el mejor modelo (GPT-4o) capaz de resolver solo el 16.3% del conjunto de extremo a extremo y el 46.1% de los escenarios. Esto ilustra el desafío de esta tarea y sugiere que SUPER puede servir como un recurso valioso para la comunidad para realizar y medir el progreso.

English

Given that Large Language Models (LLMs) have made significant progress in writing code, can they now be used to autonomously reproduce results from research repositories? Such a capability would be a boon to the research community, helping researchers validate, understand, and extend prior work. To advance towards this goal, we introduce SUPER, the first benchmark designed to evaluate the capability of LLMs in setting up and executing tasks from research repositories. SUPERaims to capture the realistic challenges faced by researchers working with Machine Learning (ML) and Natural Language Processing (NLP) research repositories. Our benchmark comprises three distinct problem sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems derived from the expert set that focus on specific challenges (e.g., configuring a trainer), and 602 automatically generated problems for larger-scale development. We introduce various evaluation measures to assess both task success and progress, utilizing gold solutions when available or approximations otherwise. We show that state-of-the-art approaches struggle to solve these problems with the best model (GPT-4o) solving only 16.3% of the end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of this task, and suggests that SUPER can serve as a valuable resource for the community to make and measure progress.