Automatização do Projeto de Benchmark

Resumo

O rápido progresso e implantação generalizada de LLMs e agentes baseados em LLMs superou nossa capacidade de avaliá-los. *Benchmarks* estáticos e manuais são a principal ferramenta para avaliar as capacidades dos modelos, mas estes rapidamente ficam saturados. Em contraste, *benchmarks* dinâmicos evoluem juntamente com os modelos que avaliam, mas são caros para criar e atualizar continuamente. Para enfrentar esses desafios, desenvolvemos o BeTaL (*Benchmark Tuning with an LLM-in-the-loop*), uma estrutura que aproveita os princípios de design de ambiente para automatizar o processo de criação de *benchmarks* dinâmicos. O BeTaL funciona parametrizando escolhas-chave de design em modelos base de *benchmarks* e usa LLMs para raciocinar através do espaço de parâmetros resultante, a fim de obter propriedades-alvo (como dificuldade e realismo) de forma economicamente eficiente. Validamos essa abordagem pela sua capacidade de criar *benchmarks* com níveis de dificuldade desejados. Usando o BeTaL, criamos dois novos *benchmarks* e estendemos um *benchmark* agêntico popular, o *tau-bench*. Uma avaliação extensiva nessas três tarefas e em múltiplos níveis de dificuldade-alvo mostra que o BeTaL produz *benchmarks* muito mais próximos da dificuldade desejada, com desvios médios variando de 5,3% a 13,2% – uma melhoria de 2 a 4 vezes em relação às *baselines*.

English

The rapid progress and widespread deployment of LLMs and LLM-powered agents has outpaced our ability to evaluate them. Hand-crafted, static benchmarks are the primary tool for assessing model capabilities, but these quickly become saturated. In contrast, dynamic benchmarks evolve alongside the models they evaluate, but are expensive to create and continuously update. To address these challenges, we develop BeTaL (Benchmark Tuning with an LLM-in-the-loop), a framework that leverages environment design principles to automate the process of dynamic benchmark design. BeTaL works by parameterizing key design choices in base benchmark templates and uses LLMs to reason through the resulting parameter space to obtain target properties (such as difficulty and realism) in a cost-efficient manner. We validate this approach on its ability to create benchmarks with desired difficulty levels. Using BeTaL, we create two new benchmarks and extend a popular agentic benchmark tau-bench. Extensive evaluation on these three tasks and multiple target difficulty levels shows that BeTaL produces benchmarks much closer to the desired difficulty, with average deviations ranging from 5.3% to 13.2% -- a 2-4x improvement over the baselines.

Automatização do Projeto de Benchmark

Automating Benchmark Design

Resumo

Support