TREK：蒸留して探索、強化して洗練

要旨

グループ相対方最適化（GRPO）は、現在の方策が既に有用な推論軌跡をサンプリングしている場合には効果的であるが、正解の解決モードが生徒のオン方策サポートの範囲外にある難しいプロンプトでは停滞する。我々はTREK（Teacher-Routed Exploration via Forward KL）を提案する。これは単純な段階的手順であり、蒸留を模倣ではなく探索サポートの拡大に利用する。TREKの重要な利点はその汎用性である。検証済みの出力軌跡のみを消費するため、外部のブラックボックス教師、ホワイトボックス教師、あるいは追加の推論時コンテキストが与えられた同一モデルを使用でき、教師の内部状態が利用不可能な場合でも、どの難しいプロンプトサンプルを最も統合すべきかを効率的に特定できる。TREKはまず、支援なしの生徒の合格率が非常に低いプロンプトを特定し、提案ソースに問い合わせて検証済みの候補解を生成し、現在の生徒尤度でランク付けされた上位r個の提案を保持し、短いフォワードKLフェーズを適用してそれら検証済みモードを生徒のサポートに引き込み、その後、標準的なオン方策GRPOの洗練に戻る。数学的推論において、DeepSeek-V4の提案を用いたTREKは、AIME 2024およびAIME 2025において、テストされた全てのスケールのQwen3モデルを改善する。Qwen3-8Bでは、AIME 2025が36.9から40.3へ、AIME 2024が47.9から51.1へ改善され（avg@16）、自己コンテキスト変種では外部教師なしで38.5および49.6に達する。エージェント型タスクでは、TREKはALFWorldの成功率を75.8から82.8へ、ScienceWorldの成功率を12.5から26.7へ向上させる。特筆すべきは、最も難しいタスクタイプにおいて、TREKはトレーニングの初期段階で高い成功率を達成する一方、支援なしのGRPOは同等の水準に達するためにより多くの最適化ステップを必要とすることである。

English

Group Relative Policy Optimization (GRPO) is effective when the current policy already samples useful reasoning trajectories, but it stalls on hard prompts whose correct solution modes lie outside the student's on-policy support. We propose TREK (Teacher-Routed Exploration via Forward KL), a simple staged procedure that uses distillation not for imitation but for exploration support expansion. A key advantage of TREK is its generality: because it only consumes verified output trajectories, it can use an external black-box teacher, a white-box teacher, or the same model given additional inference-time context, and it can efficiently identify which hard-prompt samples are most worth consolidating even when teacher internals are unavailable. TREK first identifies prompts where the unaided student has very low pass rate, queries a proposal source to produce verified candidate solutions, keeps the top-r proposals ranked by current student likelihood, applies a short forward-KL phase to pull those verified modes into the student's support, and then returns to standard on-policy GRPO refinement. On mathematical reasoning, TREK with DeepSeek-V4 proposals improves Qwen3 models across all tested scales on AIME 2024 and AIME 2025; for Qwen3-8B, it improves AIME 2025 from 36.9 to 40.3 and AIME 2024 from 47.9 to 51.1 (avg@16), while the self-context variant reaches 38.5 and 49.6 without an external teacher. On agentic tasks, TREK raises ALFWorld success rate from 75.8 to 82.8 and ScienceWorld success rate from 12.5 to 26.7; notably, on the hardest task types, TREK achieves high success rates early in training while unaided GRPO requires substantially more optimization steps to reach comparable levels.