TREK: Destillation zur Erkundung, Verstärkung zur Verfeinerung

Zusammenfassung

Die Group Relative Policy Optimization (GRPO) ist wirksam, wenn die aktuelle Policy bereits nützliche Denktrajektorien sampelt, stagniert jedoch bei schwierigen Prompts, deren korrekte Lösungsmodi außerhalb des On-Policy-Trägers des Schülers liegen. Wir stellen TREK (Teacher-Routed Exploration via Forward KL) vor, ein einfaches stufenweises Verfahren, das Destillation nicht zur Nachahmung, sondern zur Erweiterung des Explorationsunterstützungsbereichs nutzt. Ein wesentlicher Vorteil von TREK ist seine Allgemeinheit: Da es ausschließlich verifizierte Ausgabepfade verarbeitet, kann es einen externen Black-Box-Lehrer, einen White-Box-Lehrer oder dasselbe Modell mit zusätzlichem Inferenzkontext verwenden und effizient identifizieren, welche Proben bei schwierigen Prompts am meisten einer Konsolidierung wert sind – selbst wenn keine internen Lehrerzustände verfügbar sind. TREK identifiziert zunächst Prompts, bei denen der ununterstützte Schüler eine sehr niedrige Erfolgsrate aufweist, fragt eine Vorschlagsquelle an, um verifizierte Kandidatenlösungen zu erzeugen, behält die nach aktueller Schülerwahrscheinlichkeit geordneten r besten Vorschläge, wendet eine kurze Forward-KL-Phase an, um diese verifizierten Modi in den Träger des Schülers zu ziehen, und kehrt dann zur standardmäßigen On-Policy-GRPO-Verfeinerung zurück. Beim mathematischen Reasoning verbessert TREK mit DeepSeek-V4-Vorschlägen die Leistung von Qwen3-Modellen auf allen getesteten Skalen bei AIME 2024 und AIME 2025; für Qwen3-8B steigt AIME 2025 von 36,9 auf 40,3 und AIME 2024 von 47,9 auf 51,1 (avg@16), während die Selbstkontext-Variante ohne externen Lehrer 38,5 bzw. 49,6 erreicht. Bei agentischen Aufgaben erhöht TREK die Erfolgsrate bei ALFWorld von 75,8 auf 82,8 und bei ScienceWorld von 12,5 auf 26,7; bemerkenswerterweise erzielt TREK bei den schwierigsten Aufgabentypen bereits früh im Training hohe Erfolgsraten, während das ununterstützte GRPO deutlich mehr Optimierungsschritte benötigt, um vergleichbare Werte zu erreichen.

English

Group Relative Policy Optimization (GRPO) is effective when the current policy already samples useful reasoning trajectories, but it stalls on hard prompts whose correct solution modes lie outside the student's on-policy support. We propose TREK (Teacher-Routed Exploration via Forward KL), a simple staged procedure that uses distillation not for imitation but for exploration support expansion. A key advantage of TREK is its generality: because it only consumes verified output trajectories, it can use an external black-box teacher, a white-box teacher, or the same model given additional inference-time context, and it can efficiently identify which hard-prompt samples are most worth consolidating even when teacher internals are unavailable. TREK first identifies prompts where the unaided student has very low pass rate, queries a proposal source to produce verified candidate solutions, keeps the top-r proposals ranked by current student likelihood, applies a short forward-KL phase to pull those verified modes into the student's support, and then returns to standard on-policy GRPO refinement. On mathematical reasoning, TREK with DeepSeek-V4 proposals improves Qwen3 models across all tested scales on AIME 2024 and AIME 2025; for Qwen3-8B, it improves AIME 2025 from 36.9 to 40.3 and AIME 2024 from 47.9 to 51.1 (avg@16), while the self-context variant reaches 38.5 and 49.6 without an external teacher. On agentic tasks, TREK raises ALFWorld success rate from 75.8 to 82.8 and ScienceWorld success rate from 12.5 to 26.7; notably, on the hardest task types, TREK achieves high success rates early in training while unaided GRPO requires substantially more optimization steps to reach comparable levels.