WHALE: ハーネス・ウェイト同時最適化のためのシンプルなレシピ

要旨

エージェントの性能は、モデルパラメータと、コンテキストおよび制御フローを管理する実行可能なハーネスコードの双方に依存する。どちらか一方の構成要素のみを単独で最適化すると、凍結された他方の構成要素がシステムのボトルネックとして残る可能性がある。というのも、重みの更新はどのハーネスが有効かを変え得る一方で、ハーネスの更新はモデルのどの能力が引き出されるかを変え得るからである。既存の同時適応手法は重みとテキストプロンプトを最適化するが、より広範なハーネスは固定したままである。本稿では、現在のハーネスの下でモデルを更新するフェーズと、更新されたモデルの下でより良いハーネスを探索するフェーズを交互に行うシンプルな手法、Weight-Harness Alternating LEarning（WHALE）を提案する。この2つのフェーズは、それぞれオンライン棄却サンプリングによるファインチューニングとMeta-Harnessによって実現される。切り替えのタイミングは重要な設計上の選択である。WHALEは、変化し続ける相手側に対して過剰最適化を行わずに、真の改善とノイズを区別するため、固定のフェーズ長、または学習信号に基づく適応的パティエンス規則を用いる。3つのドメイン（検索質問応答、数学的推論、チェスのパズル）におけるQwen3.5-2B/4Bエージェントを用いた評価では、WHALEはbest mean@8精度において、重みのみの最適化、ハーネスのみの最適化、およびFast-Slow Trainingを4.15〜24.38パーセントポイント上回った。どちらの構成要素もボトルネックとなり得る。ハーネス探索はSearchQAにおいて、はるかに少ないロールアウトで重みのみの最適化のピーク精度に匹敵する一方、数学の精度を改善できるのは重み更新後のみである。また、小刻みな交互更新は、段階的な重み→ハーネス順の最適化を精度とロールアウトコストの両方で上回る。コードはhttps://github.com/krafton-ai/WHALEで公開されている。

English

Agent performance depends jointly on the model parameters and the executable harness code that manages context and control flow. Optimizing either component in isolation can leave the system bottlenecked by its frozen counterpart: weight updates can change which harness is effective, while harness updates can change which model capabilities are exposed. Existing joint-adaptation methods optimize weights and textual prompts but leave the broader harness fixed. We propose Weight-Harness Alternating LEarning (WHALE), a simple recipe that alternates two phases: updating the model under the current harness, then searching for a better harness under the updated model. We instantiate these two phases with online rejection-sampling fine-tuning and Meta-Harness, respectively. When to switch is a key design choice: to separate real improvements from noise without over-optimizing against a changing counterpart, WHALE uses either fixed phase durations or an adaptive patience rule over training signals. Using Qwen3.5-2B/4B agents across three domains (search question answering, mathematical reasoning, and chess puzzles), WHALE outperforms weight-only, harness-only, and Fast-Slow Training by 4.15-24.38 percentage points in best mean@8 accuracy. Either component can be the bottleneck: harness search matches peak weight-only accuracy with far fewer rollouts in SearchQA, but improves math accuracy only after a weight update. Small interleaved updates also outperform stagewise weight-then-harness optimization in accuracy and rollout cost. The code is available at https://github.com/krafton-ai/WHALE.