STARE: Überraschungsgesteuerte Token-Level-Vorteilsneugewichtung für die Stabilität der Policy-Entropie

Zusammenfassung

Verstärkungslernen mit überprüfbaren Belohnungen (Reinforcement Learning with Verifiable Rewards), wie etwa GRPO-Algorithmen, hat sich als dominantes Post-Training-Paradigma für komplexes Reasoning in großen Sprachmodellen (LLMs) etabliert, leidet jedoch häufig unter einem Zusammenbruch der Policy-Entropie während des Trainings. Wir führen eine Gradientenanalyse erster Ordnung der Token-Ebene-Entropiedynamik unter GRPO durch und identifizieren eine Diskrepanz bei der Kreditzuweisung auf Token-Ebene: Die Entropievariation pro Token zerfällt in das Produkt aus dem Trajektorien-Vorteil (trajectory-level advantage) und einer Entropie-Empfindlichkeitsfunktion über die Verteilung des nächsten Tokens, was eine Vier-Quadranten-Struktur von Vorteil und Überraschung (advantage-surprisal) sowie eine Eigenschaft naher Kritikalität ergibt. Motiviert durch diese Erkenntnis schlagen wir STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability) vor, das mittels batchinterner Überraschungsquantile entropiekritische Token-Teilmengen identifiziert, deren effektive Vorteile selektiv neu gewichtet und einen geschlossenen Regelkreis für Zielentropie zur stabilen Entropieregulation integriert. Über Modellgrößen von 1,5B bis 32B und drei Aufgabenfamilien (kurze CoT, lange CoT und mehrfache Tool-Nutzung) hinweg hält STARE ein stabiles RL-Training über tausende von Schritten aufrecht, während die Policy-Entropie innerhalb des Zielbereichs bleibt. Auf AIME24 und AIME25 übertrifft STARE DAPO und andere kompetitive Baselines um 4%–8% in der durchschnittlichen Genauigkeit, wobei Reflexionstokens und Antwortlänge parallel wachsen, was ein anhaltendes Gleichgewicht zwischen Erkundung und Ausbeutung anzeigt und das Potenzial des RL-Trainings weiter freisetzt. Der Code ist verfügbar unter https://github.com/hp-luo/STARE.

English

Reinforcement Learning with Verifiable Rewards algorithms like GRPO have emerged as the dominant post-training paradigm for complex reasoning in LLMs, yet commonly suffer from policy entropy collapse during training. We conduct a first-order gradient analysis of token-level entropy dynamics under GRPO and identify a token-level credit assignment mismatch: the per-token entropy variation decomposes into the product of the trajectory-level advantage and an entropy sensitivity function over the next-token distribution, yielding an advantage-surprisal four-quadrant structure and a near-criticality property. Motivated by it, we propose STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability), which identifies entropy-critical token subsets via batch-internal surprisal quantiles, selectively reweights their effective advantages, and incorporates a target-entropy closed-loop gate for stable entropy regulation. Across model scales from 1.5B to 32B and three task families (Short CoT, Long CoT, and Multi-Turn Tool Use), STARE sustains stable RL training over thousands of steps while maintaining policy entropy within the target band. On AIME24 and AIME25, STARE outperforms DAPO and other competitive baselines by 4%-8% in average accuracy, with reflection tokens and response length growing in tandem, indicating sustained exploration-exploitation balance that further unlocks RL training potential.Code is available at https://github.com/hp-luo/STARE.