テスト時におけるAI4AI：ハーネスによる強から弱への能力転移

要旨

近年の蒸留に関する研究では、大規模モデルの能力を小規模モデルへ移転する手法が研究されているが、多くの場合、ティーチャー・フォーシング、オン方策蒸留、および関連するトレーニング時間中の手法を通じて、後者のパラメータを更新することで実現されている。本論文では、このような移転が代わりにテスト時に発生し得るかどうかを問う。我々は「強から弱へのスキャフォールディング」を研究する：すなわち、より強力なビルダーモデルが、パラメータ更新を一切行わずに、より弱いターゲットモデルがタスクをより確実に解決できるよう支援する推論時ハーネスを構築できるかどうかである。4つの代表的な心の理論ベンチマークを用い、各ビルダーモデルはデータの5%を検証セットとして使用し、複数ラウンドにわたってハーネスを反復的に改良する。その後、完成したハーネスを全テストセットで評価する。実証的に、この形式のテスト時能力移転は非常に効果的であり、ターゲットモデルの平均性能は0.49から0.91へとほぼ倍増した。我々の分析によれば、この向上は主に、不安定なモデル推論を決定論的なコードへのオフロード、ベンチマーク固有のルーティング、厳格な回答形式の強制からもたらされており、ターゲットモデルに、より広範な推論やより広いサンプリングを促すことからではない。さらに、ビルダーモデルの推論努力はハーネスの品質を単調に向上させ、プラットフォーム効果はビルダーモデル自身の能力と比較して限定的であり、より弱いターゲットモデルが最大の向上を得ることが分かった。これらの結果は、推論時ハーネス設計が従来のトレーニング時蒸留の重要な補完であり、強力なモデルが再トレーニングなしで認知構造を弱いモデルに移転できることを示唆している。

English

Recent work on distillation transfers the capabilities of large models to smaller ones often by updating the latter's parameters, through teacher forcing, on-policy distillation, and related training-time methods. In this paper, we ask whether such transfer can instead occur at test time. We study strong-to-weak scaffolding: whether a stronger builder model can construct inference-time harnesses that help a weaker target model solve tasks more reliably without any parameter updates. Using four representative Theory-of-Mind benchmarks, each builder model uses 5% of the data as a validation set to iteratively refine its harness over multiple rounds, after which the finalized harness is evaluated on the full test set. Empirically, this form of test-time capability transfer is highly effective, nearly doubling average target-model performance from 0.49 to 0.91. Our analysis shows that the gains come primarily from offloading unstable model reasoning into deterministic code, benchmark-specific routing, and strict answer-format enforcement, rather than from encouraging the target model to reason more extensively or sample more broadly. We further find that builder-model reasoning effort improves harness quality monotonically, platform effects are modest relative to the builder model's own capability, and weaker target models receive the largest gains. These results suggest that inference-time harness design is an important complement to conventional training-time distillation, enabling strong models to transfer cognitive structure to weaker models without retraining.