STARE: Reponderación de ventajas a nivel de tokens guiada por sorpresa para la estabilidad de la entropía de la política

Resumen

Los algoritmos de Aprendizaje por Refuerzo con Recompensas Verificables, como GRPO, han emergido como el paradigma dominante de post-entrenamiento para el razonamiento complejo en LLMs, pero comúnmente sufren de colapso de entropía de política durante el entrenamiento. Realizamos un análisis de gradiente de primer orden de la dinámica de entropía a nivel de token bajo GRPO e identificamos un desajuste en la asignación de crédito a nivel de token: la variación de entropía por token se descompone en el producto de la ventaja a nivel de trayectoria y una función de sensibilidad de entropía sobre la distribución del siguiente token, lo que produce una estructura de cuatro cuadrantes de ventaja-sorpresa y una propiedad de cuasi-criticalidad. Motivados por ello, proponemos STARE (reponderación de ventajas a nivel de token guiada por sorpresa para la estabilidad de la entropía de la política), que identifica subconjuntos de tokens críticos para la entropía mediante cuantiles de sorpresa internos al lote, repondera selectivamente sus ventajas efectivas e incorpora una compuerta de bucle cerrado de entropía objetivo para una regulación estable de la entropía. A través de escalas de modelo desde 1.5B hasta 32B y tres familias de tareas (CoT Corto, CoT Largo y Uso de Herramientas en Múltiples Turnos), STARE mantiene un entrenamiento de RL estable durante miles de pasos mientras mantiene la entropía de la política dentro de la banda objetivo. En AIME24 y AIME25, STARE supera a DAPO y otras líneas base competitivas en un 4%-8% en precisión promedio, con tokens de reflexión y longitud de respuesta creciendo en conjunto, lo que indica un equilibrio sostenido de exploración-explotación que desbloquea aún más el potencial del entrenamiento de RL. El código está disponible en https://github.com/hp-luo/STARE.

English

Reinforcement Learning with Verifiable Rewards algorithms like GRPO have emerged as the dominant post-training paradigm for complex reasoning in LLMs, yet commonly suffer from policy entropy collapse during training. We conduct a first-order gradient analysis of token-level entropy dynamics under GRPO and identify a token-level credit assignment mismatch: the per-token entropy variation decomposes into the product of the trajectory-level advantage and an entropy sensitivity function over the next-token distribution, yielding an advantage-surprisal four-quadrant structure and a near-criticality property. Motivated by it, we propose STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability), which identifies entropy-critical token subsets via batch-internal surprisal quantiles, selectively reweights their effective advantages, and incorporates a target-entropy closed-loop gate for stable entropy regulation. Across model scales from 1.5B to 32B and three task families (Short CoT, Long CoT, and Multi-Turn Tool Use), STARE sustains stable RL training over thousands of steps while maintaining policy entropy within the target band. On AIME24 and AIME25, STARE outperforms DAPO and other competitive baselines by 4%-8% in average accuracy, with reflection tokens and response length growing in tandem, indicating sustained exploration-exploitation balance that further unlocks RL training potential.Code is available at https://github.com/hp-luo/STARE.