STARE: Управляемое удивлением перевзвешивание преимуществ на уровне токенов для стабильности энтропии политики

Аннотация

Алгоритмы обучения с подкреплением с проверяемыми вознаграждениями, такие как GRPO, стали доминирующей парадигмой посттренировки для сложных рассуждений в больших языковых моделях (LLM), однако часто страдают от коллапса энтропии политики в процессе обучения. Мы проводим анализ градиентов первого порядка энтропийной динамики на уровне токенов в рамках GRPO и выявляем несоответствие распределения кредитов на уровне токенов: вариация энтропии на токен разлагается на произведение преимущества на уровне траектории и функции чувствительности энтропии по распределению следующего токена, что порождает четырехквадрантную структуру преимущество–сюрпризаль и свойство околокритичности. Основываясь на этом, мы предлагаем STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability — перераспределение весов преимуществ на уровне токенов под руководством сюрпризаль для стабильности энтропии политики), который идентифицирует подмножества токенов, критические для энтропии, с помощью внутрипакетных квантилей сюрпризаль, выборочно перераспределяет их эффективные преимущества и включает замкнутый контур с целевой энтропией для стабильной регуляции энтропии. На масштабах моделей от 1,5B до 32B и в трех семействах задач (Короткая CoT, Длинная CoT и Многократное использование инструментов) STARE поддерживает стабильное обучение с подкреплением на протяжении тысяч шагов, сохраняя энтропию политики в целевом диапазоне. На наборах AIME24 и AIME25 STARE превосходит DAPO и другие конкурентоспособные базовые методы на 4–8% по средней точности, при этом количество токенов размышления и длина ответа растут синхронно, что указывает на устойчивый баланс между исследованием и эксплуатацией, который дополнительно раскрывает потенциал обучения с подкреплением. Код доступен по адресу https://github.com/hp-luo/STARE.

English

Reinforcement Learning with Verifiable Rewards algorithms like GRPO have emerged as the dominant post-training paradigm for complex reasoning in LLMs, yet commonly suffer from policy entropy collapse during training. We conduct a first-order gradient analysis of token-level entropy dynamics under GRPO and identify a token-level credit assignment mismatch: the per-token entropy variation decomposes into the product of the trajectory-level advantage and an entropy sensitivity function over the next-token distribution, yielding an advantage-surprisal four-quadrant structure and a near-criticality property. Motivated by it, we propose STARE (Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability), which identifies entropy-critical token subsets via batch-internal surprisal quantiles, selectively reweights their effective advantages, and incorporates a target-entropy closed-loop gate for stable entropy regulation. Across model scales from 1.5B to 32B and three task families (Short CoT, Long CoT, and Multi-Turn Tool Use), STARE sustains stable RL training over thousands of steps while maintaining policy entropy within the target band. On AIME24 and AIME25, STARE outperforms DAPO and other competitive baselines by 4%-8% in average accuracy, with reflection tokens and response length growing in tandem, indicating sustained exploration-exploitation balance that further unlocks RL training potential.Code is available at https://github.com/hp-luo/STARE.