Task-CoEvolve: 적응형 검증 태스크 선택을 통한 효율적인 하네스 최적화

초록

본 논문에서는 적응적 검증 태스크 선택을 통한 효율적인 LLM 하네스 최적화의 새로운 접근법을 제시한다. 하네스 최적화는 검증 성능에 기반하여 하네스 코드를 반복적으로 재작성하며, 기저 모델 가중치를 업데이트하지 않고도 상당한 성능 향상을 가능하게 한다. 그러나 기존 접근법은 각 반복마다 고정된 검증 세트를 전체적으로 평가하므로, 하네스가 진화함에 따라 변별력이 낮아진 태스크에 대해서도 상당한 평가 비용이 발생한다. 우리는 정보성이 높은 태스크를 선택하는 것과 부분 평가에서 전체 세트 성능을 추정하는 것이라는 두 가지 난제를 해결하여 검증 태스크를 하네스와 공동 진화시키는 Task-CoEvolve를 제안한다. Task-CoEvolve는 후보 하네스들이 서로 다른 결과를 보이는 태스크가 일관되게 해결되거나 실패하는 태스크보다 후보들을 구별하는 데 더 정보적이라는 관찰에 기반한다. 이는 과거 결과를 바탕으로 한 분산 가중 샘플링을 사용하여 능력 경계 부근의 태스크에 평가를 집중시키며, 샘플링 분포는 하네스가 진화함에 따라 적응한다. 그런 다음 샘플링된 태스크들의 샘플링 확률을 고려하여 전체 세트 점수를 추정함으로써, 매 반복마다 다른 부분집합을 평가하더라도 일관된 비교를 가능하게 한다. 온라인 텍스트 분류 및 Terminal-Bench 2.1 실험에서 Task-CoEvolve는 부분집합 기반 기준선을 일관되게 능가하고 전체 세트 탐색의 최종 성능과 동등한 성능을 달성하면서도 최적화 중 평가 횟수를 80% 감소시킨다. 코드는 https://github.com/Agent4Science-UTokyo/Task-CoEvolve에서 공개될 예정이다.

English

We present a novel approach to efficient LLM harness optimization through adaptive validation task selection. Harness optimization iteratively rewrites the harness code based on validation performance, enabling substantial performance gains without updating the underlying model weights. Existing approaches, however, evaluate a fixed validation set in full at every iteration, incurring substantial evaluation costs even on tasks that become less discriminative as the harness evolves. We propose Task-CoEvolve, which co-evolves the validation tasks with the harness by addressing two challenges: selecting informative tasks and estimating full-set performance from partial evaluations. Task-CoEvolve builds on the observation that tasks on which candidate harnesses disagree are more informative for distinguishing among them than tasks that are consistently solved or failed. It uses variance-weighted sampling based on past outcomes to focus evaluation on tasks near the capability frontier, with the sampling distribution adapting as the harness evolves. It then estimates full-set scores from the sampled tasks by accounting for their sampling probabilities, enabling consistent comparisons across iterations despite evaluating different subsets. Experiments on online text classification and Terminal-Bench 2.1 show that Task-CoEvolve consistently outperforms subset-based baselines and matches the final performance of full-set search while reducing the number of evaluations during optimization by 80%. Code will be released at https://github.com/Agent4Science-UTokyo/Task-CoEvolve.