ベンチマーク設計の自動化

要旨

大規模言語モデル（LLM）およびLLM駆動エージェントの急速な進歩と広範な展開は、それらを評価する我々の能力を凌駕している。手作りで静的なベンチマークがモデル能力を評価する主要な手段であるが、これらは急速に飽和状態に達する。一方、動的ベンチマークは評価対象のモデルと共に進化するが、作成と継続的更新に多大なコストがかかる。これらの課題に対処するため、我々は環境設計原理を活用して動的ベンチマーク設計プロセスを自動化するフレームワーク「BeTaL（Benchmark Tuning with an LLM-in-the-loop）」を開発した。BeTaLは基本ベンチマークテンプレートにおける主要な設計選択をパラメータ化し、LLMを用いて結果として生じるパラメータ空間を推論させることで、費用対効果の高い方法で（難易度や現実性などの）目標特性を達成する。本アプローチの検証として、所望の難易度を持つベンチマーク作成能力を評価した。BeTaLを用いて2つの新規ベンチマークを作成し、広く使われるエージェントベンチマークtau-benchを拡張した。これら3タスクと複数の目標難易度における詳細な評価により、BeTaLが生成するベンチマークは目標難易度により近く（平均偏差は5.3%から13.2%）、ベースラインと比較して2～4倍の精度向上を達成することが示された。

English

The rapid progress and widespread deployment of LLMs and LLM-powered agents has outpaced our ability to evaluate them. Hand-crafted, static benchmarks are the primary tool for assessing model capabilities, but these quickly become saturated. In contrast, dynamic benchmarks evolve alongside the models they evaluate, but are expensive to create and continuously update. To address these challenges, we develop BeTaL (Benchmark Tuning with an LLM-in-the-loop), a framework that leverages environment design principles to automate the process of dynamic benchmark design. BeTaL works by parameterizing key design choices in base benchmark templates and uses LLMs to reason through the resulting parameter space to obtain target properties (such as difficulty and realism) in a cost-efficient manner. We validate this approach on its ability to create benchmarks with desired difficulty levels. Using BeTaL, we create two new benchmarks and extend a popular agentic benchmark tau-bench. Extensive evaluation on these three tasks and multiple target difficulty levels shows that BeTaL produces benchmarks much closer to the desired difficulty, with average deviations ranging from 5.3% to 13.2% -- a 2-4x improvement over the baselines.

ベンチマーク設計の自動化

Automating Benchmark Design

要旨

Support