WHALE: 결합 하네스-가중치 최적화를 위한 간단한 레시피

초록

에이전트 성능은 모델 파라미터와 컨텍스트 및 제어 흐름을 관리하는 실행 가능한 하네스 코드에 공동으로 의존한다. 어느 한 구성 요소만 최적화하면 시스템이 고정된 반대편 구성 요소에 의해 병목 현상을 겪을 수 있다. 가중치 업데이트는 어떤 하네스가 효과적인지를 바꿀 수 있으며, 하네스 업데이트는 어떤 모델 기능이 노출되는지를 바꿀 수 있다. 기존의 공동 적응 방법은 가중치와 텍스트 프롬프트를 최적화하지만, 보다 포괄적인 하네스는 고정된 채로 둔다. 본 논문은 두 단계를 교대하는 간단한 기법인 가중치-하네스 교대 학습(Weight-Harness Alternating LEarning, WHALE)을 제안한다. 즉, 현재 하네스 하에서 모델을 업데이트한 다음, 업데이트된 모델 하에서 더 나은 하네스를 탐색한다. 이 두 단계는 각각 온라인 거부 샘플링 기반 미세 조정과 메타-하네스로 구현된다. 전환 시점은 핵심 설계 선택 사항이다. 변화하는 상대방에 과도하게 최적화하지 않으면서 실제 개선과 노이즈를 구분하기 위해, WHALE은 고정된 단계 기간 또는 학습 신호에 대한 적응형 인내 규칙을 사용한다. Qwen3.5-2B/4B 에이전트를 세 가지 도메인(검색 질문 응답, 수학적 추론, 체스 퍼즐)에서 평가한 결과, WHALE은 최고 mean@8 정확도에서 가중치 전용, 하네스 전용, Fast-Slow Training보다 4.15-24.38퍼센트 포인트 더 우수한 성능을 달성했다. 두 구성 요소 모두 병목이 될 수 있다. 하네스 탐색은 SearchQA에서 훨씬 적은 롤아웃으로 가중치 전용 최고 정확도에 도달하지만, 수학 정확도는 가중치 업데이트 이후에만 개선된다. 소규모 교대 업데이트는 가중치를 먼저 최적화한 후 하네스를 최적화하는 단계적 방식보다 정확도와 롤아웃 비용 측면에서 우수하다. 코드는 https://github.com/krafton-ai/WHALE에서 확인할 수 있다.

English

Agent performance depends jointly on the model parameters and the executable harness code that manages context and control flow. Optimizing either component in isolation can leave the system bottlenecked by its frozen counterpart: weight updates can change which harness is effective, while harness updates can change which model capabilities are exposed. Existing joint-adaptation methods optimize weights and textual prompts but leave the broader harness fixed. We propose Weight-Harness Alternating LEarning (WHALE), a simple recipe that alternates two phases: updating the model under the current harness, then searching for a better harness under the updated model. We instantiate these two phases with online rejection-sampling fine-tuning and Meta-Harness, respectively. When to switch is a key design choice: to separate real improvements from noise without over-optimizing against a changing counterpart, WHALE uses either fixed phase durations or an adaptive patience rule over training signals. Using Qwen3.5-2B/4B agents across three domains (search question answering, mathematical reasoning, and chess puzzles), WHALE outperforms weight-only, harness-only, and Fast-Slow Training by 4.15-24.38 percentage points in best mean@8 accuracy. Either component can be the bottleneck: harness search matches peak weight-only accuracy with far fewer rollouts in SearchQA, but improves math accuracy only after a weight update. Small interleaved updates also outperform stagewise weight-then-harness optimization in accuracy and rollout cost. The code is available at https://github.com/krafton-ai/WHALE.