Task-CoEvolve：適応的な検証タスク選択による効率的な評価ハーネス最適化

要旨

我々は、適応的な検証タスク選択による効率的なLLMハーネス最適化のための新しいアプローチを提案する。ハーネス最適化は、検証性能に基づいてハーネスコードを反復的に書き換え、基盤となるモデルの重みを更新することなく大幅な性能向上を可能にする。しかし、既存のアプローチは、各反復において固定された検証セット全体を評価するため、ハーネスの進化に伴って判別力が低下するタスクに対しても多大な評価コストが発生する。我々は、有益なタスクの選択と、部分的な評価からの全体セット性能の推定という2つの課題に取り組むことで、検証タスクをハーネスとともに共進化させるTask-CoEvolveを提案する。Task-CoEvolveは、候補となるハーネス間で結果が分かれるタスクは、一貫して解決または失敗されるタスクよりも、それらを区別する上で有益であるという観察に基づいている。過去の結果に基づく分散重み付きサンプリングを用いて、能力のフロンティア付近のタスクに評価を集中させ、サンプリング分布はハーネスの進化に応じて適応する。その後、サンプリングされたタスクから、そのサンプリング確率を考慮して全体セットのスコアを推定することで、異なるサブセットを評価するにもかかわらず、反復間での一貫した比較を可能にする。オンラインテキスト分類とTerminal-Bench 2.1での実験により、Task-CoEvolveはサブセットベースのベースラインを一貫して上回り、最適化中の評価回数を80%削減しながら、フルセット検索の最終性能に匹敵することを示す。コードはhttps://github.com/Agent4Science-UTokyo/Task-CoEvolveで公開予定である。

English

We present a novel approach to efficient LLM harness optimization through adaptive validation task selection. Harness optimization iteratively rewrites the harness code based on validation performance, enabling substantial performance gains without updating the underlying model weights. Existing approaches, however, evaluate a fixed validation set in full at every iteration, incurring substantial evaluation costs even on tasks that become less discriminative as the harness evolves. We propose Task-CoEvolve, which co-evolves the validation tasks with the harness by addressing two challenges: selecting informative tasks and estimating full-set performance from partial evaluations. Task-CoEvolve builds on the observation that tasks on which candidate harnesses disagree are more informative for distinguishing among them than tasks that are consistently solved or failed. It uses variance-weighted sampling based on past outcomes to focus evaluation on tasks near the capability frontier, with the sampling distribution adapting as the harness evolves. It then estimates full-set scores from the sampled tasks by accounting for their sampling probabilities, enabling consistent comparisons across iterations despite evaluating different subsets. Experiments on online text classification and Terminal-Bench 2.1 show that Task-CoEvolve consistently outperforms subset-based baselines and matches the final performance of full-set search while reducing the number of evaluations during optimization by 80%. Code will be released at https://github.com/Agent4Science-UTokyo/Task-CoEvolve.