ESPO: Vroegtijdige Stopzetting van Proximal Policy Optimization

Samenvatting

Wanneer een groot taalmodel onder reinforcement learning een foutieve redeneerstap zet vroeg in een traject, dwingen standaardalgoritmen het om door te gaan met genereren tot de maximale horizon, waarbij ze rekenkracht besteden aan tokens die nooit een positieve beloning ontvangen en de voordeelschattingen (advantage estimates) vervuilen met ruis na falen. Wij stellen ESPO (Early-Stopping Proximal Policy Optimization) voor, dat trajectfalen tijdens de uitvoering detecteert en rollouts vroegtijdig beëindigt. Bij elke generatiestap berekent ESPO een surrogaat-regret met alleen de logits die al tijdens het samplen zijn berekend, en stopt wanneer de afgevlakte cumulatieve regret de geschatte waarden aanzienlijk overschrijdt. Afgekapte trajecten worden behandeld als absorberende faaltoestanden met een terminale beloning, waardoor negatieve temporal-difference (TD)-fouten worden geconcentreerd rond de gedetecteerde faalstap, zonder enig extra beloningsmodel of menselijke annotatie. Op DeepSeek-R1-Distill-Qwen-7B getraind voor wiskundig redeneren overtreft ESPO PPO op AIME 2024 (46,28% vs. 45,25%), AMC 2023 (85,83% vs. 82,94%) en MATH-500 (87,42% vs. 85,43%), terwijl er cumulatief meer dan 20% rollout-tokens worden bespaard.

English

When a large language model under reinforcement learning commits a wrong reasoning step early in a trajectory, standard algorithms force it to keep generating until the maximum horizon, spending compute on tokens that never receive positive reward and polluting advantage estimates with post-failure noise. We propose ESPO (Early-Stopping Proximal Policy Optimization), which detects trajectory failure on-the-fly and terminates rollouts early. At each generation step, ESPO computes a surrogate regret using only the logits already computed during sampling, and terminates when the smoothed cumulative regret significantly exceeds its estimated values. Truncated trajectories are treated as absorbing failure states with a terminal reward, concentrating negative temporal-difference (TD) errors near the detected failure step without any additional reward model or human annotation. On DeepSeek-R1-Distill-Qwen-7B trained for mathematical reasoning, ESPO surpasses PPO on AIME~2024 (46.28% vs. 45.25%), AMC~2023 (85.83% vs. 82.94%), and MATH-500 (87.42% vs. 85.43%), while saving more than 20% rollout tokens cumulatively.