SUPER: Avaliando Agentes na Configuração e Execução de Tarefas de Repositórios de Pesquisa
SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories
September 11, 2024
Autores: Ben Bogin, Kejuan Yang, Shashank Gupta, Kyle Richardson, Erin Bransom, Peter Clark, Ashish Sabharwal, Tushar Khot
cs.AI
Resumo
Dado que os Modelos de Linguagem Grandes (LLMs) avançaram significativamente na escrita de código, eles podem agora ser usados para reproduzir autonomamente os resultados de repositórios de pesquisa? Tal capacidade seria uma vantagem para a comunidade de pesquisa, ajudando os pesquisadores a validar, compreender e estender trabalhos anteriores. Para avançar nesse objetivo, apresentamos o SUPER, o primeiro benchmark projetado para avaliar a capacidade dos LLMs em configurar e executar tarefas de repositórios de pesquisa. O SUPER tem como objetivo capturar os desafios realistas enfrentados por pesquisadores que trabalham com repositórios de pesquisa em Aprendizado de Máquina (ML) e Processamento de Linguagem Natural (NLP). Nosso benchmark é composto por três conjuntos de problemas distintos: 45 problemas de ponta a ponta com soluções especializadas anotadas, 152 subproblemas derivados do conjunto especializado que se concentram em desafios específicos (por exemplo, configurar um treinador) e 602 problemas gerados automaticamente para desenvolvimento em larga escala. Introduzimos várias medidas de avaliação para avaliar tanto o sucesso da tarefa quanto o progresso, utilizando soluções de referência quando disponíveis ou aproximações caso contrário. Mostramos que abordagens de ponta lutam para resolver esses problemas, com o melhor modelo (GPT-4o) resolvendo apenas 16,3% do conjunto de ponta a ponta e 46,1% dos cenários. Isso ilustra o desafio dessa tarefa e sugere que o SUPER pode servir como um recurso valioso para a comunidade fazer e medir progressos.
English
Given that Large Language Models (LLMs) have made significant progress in
writing code, can they now be used to autonomously reproduce results from
research repositories? Such a capability would be a boon to the research
community, helping researchers validate, understand, and extend prior work. To
advance towards this goal, we introduce SUPER, the first benchmark designed to
evaluate the capability of LLMs in setting up and executing tasks from research
repositories. SUPERaims to capture the realistic challenges faced by
researchers working with Machine Learning (ML) and Natural Language Processing
(NLP) research repositories. Our benchmark comprises three distinct problem
sets: 45 end-to-end problems with annotated expert solutions, 152 sub problems
derived from the expert set that focus on specific challenges (e.g.,
configuring a trainer), and 602 automatically generated problems for
larger-scale development. We introduce various evaluation measures to assess
both task success and progress, utilizing gold solutions when available or
approximations otherwise. We show that state-of-the-art approaches struggle to
solve these problems with the best model (GPT-4o) solving only 16.3% of the
end-to-end set, and 46.1% of the scenarios. This illustrates the challenge of
this task, and suggests that SUPER can serve as a valuable resource for the
community to make and measure progress.