STARE : Répondération des avantages au niveau des tokens guidée par la surprisal pour la stabilité de l'entropie de la politique.

Résumé

Les algorithmes d'apprentissage par renforcement avec récompenses vérifiables, tels que GRPO, sont devenus le paradigme dominant de post-entraînement pour le raisonnement complexe dans les LLM, mais souffrent fréquemment d'un effondrement de l'entropie de la politique lors de l'entraînement. Nous menons une analyse du gradient du premier ordre de la dynamique de l'entropie au niveau des jetons sous GRPO et identifions un décalage d'attribution de crédit au niveau des jetons : la variation d'entropie par jeton se décompose en produit de l'avantage au niveau de la trajectoire et d'une fonction de sensibilité de l'entropie sur la distribution du jeton suivant, produisant une structure à quatre quadrants d'avantage-surprise et une propriété de quasi-criticalité. Motivés par cela, nous proposons STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability), qui identifie les sous-ensembles de jetons critiques pour l'entropie via des quantiles de surprise intra-lot, re-pondère sélectivement leurs avantages effectifs, et intègre une porte en boucle fermée d'entropie cible pour une régulation stable de l'entropie. Sur des échelles de modèle de 1,5B à 32B et trois familles de tâches (Short CoT, Long CoT et Multi-Turn Tool Use), STARE maintient un entraînement RL stable sur des milliers d'étapes tout en maintenant l'entropie de la politique dans la bande cible. Sur AIME24 et AIME25, STARE surpasse DAPO et d'autres références concurrentielles de 4 % à 8 % en précision moyenne, avec des jetons de réflexion et une longueur de réponse augmentant conjointement, indiquant un équilibre soutenu entre exploration et exploitation qui libère davantage le potentiel d'entraînement RL. Le code est disponible à l'adresse https://github.com/hp-luo/STARE.

English

Reinforcement Learning with Verifiable Rewards algorithms like GRPO have emerged as the dominant post-training paradigm for complex reasoning in LLMs, yet commonly suffer from policy entropy collapse during training. We conduct a first-order gradient analysis of token-level entropy dynamics under GRPO and identify a token-level credit assignment mismatch: the per-token entropy variation decomposes into the product of the trajectory-level advantage and an entropy sensitivity function over the next-token distribution, yielding an advantage-surprisal four-quadrant structure and a near-criticality property. Motivated by it, we propose STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability), which identifies entropy-critical token subsets via batch-internal surprisal quantiles, selectively reweights their effective advantages, and incorporates a target-entropy closed-loop gate for stable entropy regulation. Across model scales from 1.5B to 32B and three task families (Short CoT, Long CoT, and Multi-Turn Tool Use), STARE sustains stable RL training over thousands of steps while maintaining policy entropy within the target band. On AIME24 and AIME25, STARE outperforms DAPO and other competitive baselines by 4%-8% in average accuracy, with reflection tokens and response length growing in tandem, indicating sustained exploration-exploitation balance that further unlocks RL training potential.Code is available at https://github.com/hp-luo/STARE.