Automatizzazione della Progettazione di Benchmark

Abstract

Il rapido progresso e la diffusione su larga scala dei LLM e degli agenti basati su LLM hanno superato la nostra capacità di valutarli. I benchmark statici creati manualmente sono il principale strumento per valutare le capacità dei modelli, ma questi diventano rapidamente saturi. Al contrario, i benchmark dinamici si evolvono insieme ai modelli che valutano, ma sono costosi da creare e aggiornare continuamente. Per affrontare queste sfide, sviluppiamo BeTaL (Benchmark Tuning with an LLM-in-the-loop), un framework che sfrutta i principi di progettazione degli ambienti per automatizzare il processo di progettazione di benchmark dinamici. BeTaL funziona parametrizzando le scelte progettuali chiave in modelli di benchmark di base e utilizza i LLM per ragionare sullo spazio parametrico risultante al fine di ottenere proprietà target (come difficoltà e realismo) in modo economicamente efficiente. Convalidiamo questo approccio sulla sua capacità di creare benchmark con livelli di difficoltà desiderati. Utilizzando BeTaL, creiamo due nuovi benchmark ed estendiamo un popolare benchmark agentico, tau-bench. Una valutazione estensiva su questi tre compiti e su più livelli di difficoltà target mostra che BeTaL produce benchmark molto più vicini alla difficoltà desiderata, con deviazioni medie che vanno dal 5,3% al 13,2% – un miglioramento di 2-4 volte rispetto ai baseline.

English

The rapid progress and widespread deployment of LLMs and LLM-powered agents has outpaced our ability to evaluate them. Hand-crafted, static benchmarks are the primary tool for assessing model capabilities, but these quickly become saturated. In contrast, dynamic benchmarks evolve alongside the models they evaluate, but are expensive to create and continuously update. To address these challenges, we develop BeTaL (Benchmark Tuning with an LLM-in-the-loop), a framework that leverages environment design principles to automate the process of dynamic benchmark design. BeTaL works by parameterizing key design choices in base benchmark templates and uses LLMs to reason through the resulting parameter space to obtain target properties (such as difficulty and realism) in a cost-efficient manner. We validate this approach on its ability to create benchmarks with desired difficulty levels. Using BeTaL, we create two new benchmarks and extend a popular agentic benchmark tau-bench. Extensive evaluation on these three tasks and multiple target difficulty levels shows that BeTaL produces benchmarks much closer to the desired difficulty, with average deviations ranging from 5.3% to 13.2% -- a 2-4x improvement over the baselines.

Automatizzazione della Progettazione di Benchmark

Automating Benchmark Design

Abstract

Support