TTPO：テスト時方策最適化

要旨

最近の代表的ポストトレーニング手法、例えば強化学習（RL）やオンポリシー自己蒸留（OPSD）は、大規模言語モデルの数学的推論における急速な進歩を牽引してきたが、正解ラベルへの依存によりテスト時訓練（TTT）は不可能である。正解ラベルを多数決による擬似ラベルに置き換えることは自然な代替手段だが、これは脆弱である。誤った投票が教師を汚染し、すべてのトークンを誤らせるためである。我々は、この障害モードが非対称であることを観察する。擬似ラベルと一致しないロールアウトは、投票自体が正しいかどうかに関係なく、通常は誤っている。この観察に基づき、我々はテスト時方策最適化（TTPO）を提案する。これは、一致するロールアウトをOPSDで蒸留し、一致しないロールアウトをGrouped RLで罰する非対称な目的関数である。トークンレベルの選択はさらに両ブランチを洗練する。蒸留はすでに収束した位置の重みを下げ、RLは確信度の高い誤りのみを罰する。両方の更新は、擬似ラベル誤りが頻繁に発生する状況下でも十分に根拠づけられたままであり、多数決ルーティングはモデルの改善に伴ってより厳密な自己教師信号を生成する。ラベルを一切用いないTTPOは、5つの競技レベルのベンチマークでラベル教師ありOPSDに匹敵し、TTTにおいてQwen3-1.7Bを38.0%から45.2%に向上させ、思考なしでは+25.2%から+36.4%の向上をもたらし、強力なタスク横断的汎化を示す。

English

Recent prominent post-training methods, such as Reinforcement Learning (RL) and On-Policy Self-Distillation (OPSD), have driven rapid progress in mathematical reasoning for large language models, yet their reliance on ground-truth labels precludes test-time training (TTT). Replacing ground truth with majority-vote pseudo-labels is a natural alternative, yet it is fragile: an incorrect vote corrupts the teacher and misleads every token. We observe that this failure mode is asymmetric: rollouts that disagree with the pseudo-label are typically wrong regardless of whether the vote itself is correct. Building on this observation, we propose Test-Time Policy Optimization (TTPO), an asymmetric objective that distills agreeing rollouts via OPSD and penalizes disagreeing rollouts with Grouped RL. Token-level selection further refines both branches: distillation down-weights already-converged positions, while RL penalizes only confident errors. Both updates remain well-grounded even under frequent pseudo-label errors, and majority-vote routing yields tighter self-supervision as the model improves. Without any labels, TTPO matches label-supervised OPSD on five competition-level benchmarks, raises Qwen3-1.7B from 38.0% to 45.2% in TTT, yields +25.2% to +36.4% without thinking, and shows strong cross-task generalization.

TTPO：テスト時方策最適化

TTPO: Test-Time Policy Optimization

要旨

Support