ESPO: Проксимальная оптимизация политики с ранней остановкой

Аннотация

Когда большая языковая модель в процессе обучения с подкреплением совершает неверный шаг рассуждения на раннем этапе траектории, стандартные алгоритмы вынуждают её продолжать генерацию до достижения максимального горизонта, расходуя вычислительные ресурсы на токены, которые никогда не получат положительного вознаграждения, и загрязняя оценки преимущества шумом после сбоя. Мы предлагаем ESPO (Досрочная остановка проксимальной оптимизации политики), который обнаруживает сбой траектории на лету и досрочно завершает развертывания. На каждом шаге генерации ESPO вычисляет суррогатное сожаление, используя только уже вычисленные в процессе семплирования логиты, и прекращает генерацию, когда сглаженное кумулятивное сожаление значительно превышает его оценочные значения. Усечённые траектории рассматриваются как поглощающие состояния отказа с терминальным вознаграждением, концентрируя отрицательные ошибки временной разницы (TD) вблизи обнаруженного шага сбоя без использования дополнительной модели вознаграждения или человеческой аннотации. На модели DeepSeek-R1-Distill-Qwen-7B, обученной для математических рассуждений, ESPO превосходит PPO на AIME 2024 (46,28% против 45,25%), AMC 2023 (85,83% против 82,94%) и MATH-500 (87,42% против 85,43%), при этом экономя более 20% токенов развертывания в совокупности.

English

When a large language model under reinforcement learning commits a wrong reasoning step early in a trajectory, standard algorithms force it to keep generating until the maximum horizon, spending compute on tokens that never receive positive reward and polluting advantage estimates with post-failure noise. We propose ESPO (Early-Stopping Proximal Policy Optimization), which detects trajectory failure on-the-fly and terminates rollouts early. At each generation step, ESPO computes a surrogate regret using only the logits already computed during sampling, and terminates when the smoothed cumulative regret significantly exceeds its estimated values. Truncated trajectories are treated as absorbing failure states with a terminal reward, concentrating negative temporal-difference (TD) errors near the detected failure step without any additional reward model or human annotation. On DeepSeek-R1-Distill-Qwen-7B trained for mathematical reasoning, ESPO surpasses PPO on AIME~2024 (46.28% vs. 45.25%), AMC~2023 (85.83% vs. 82.94%), and MATH-500 (87.42% vs. 85.43%), while saving more than 20% rollout tokens cumulatively.