Wohlstand vor dem Zusammenbruch: Wie weit kann Off-Policy RL mit veralteten Daten auf LLMs kommen?

Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?

October 1, 2025

papers.authors: Haizhong Zheng, Jiawei Zhao, Bedi Chen

cs.AI

papers.abstract

Reinforcement Learning hat eine zentrale Rolle bei den jüngsten Fortschritten im Bereich des Reasoning großer Sprachmodelle gespielt, doch die meisten Algorithmen basieren auf On-Policy-Training, das frische Rollouts bei jedem Update erfordert, was die Effizienz und Skalierbarkeit einschränkt. Asynchrone RL-Systeme mildern dies, indem sie die Generierung von Rollouts vom Training entkoppeln, doch ihre Wirksamkeit hängt davon ab, große Verzögerungen in den Rollout-Daten zu tolerieren – ein Szenario, in dem bestehende Methoden entweder an Leistung einbüßen oder versagen. Wir nehmen diese Herausforderung erneut in den Blick und entdecken ein Prosperity-before-Collapse-Phänomen: Veraltete Daten können ebenso informativ sein wie On-Policy-Daten, wenn sie richtig genutzt werden. Aufbauend auf dieser Erkenntnis führen wir M2PO (Second-Moment Trust Policy Optimization) ein, das das zweite Moment der Importance-Weights beschränkt, um nur extreme Ausreißer zu unterdrücken, während informative Updates erhalten bleiben. Bemerkenswerterweise reduziert M2PO den Anteil der abgeschnittenen Tokens bei hoher Verzögerung deutlich (von 1,22 % auf 0,06 % während des Trainings), indem es präzise hochvarianz Tokens maskiert und gleichzeitig eine stabile Optimierung aufrechterhält. Eine umfangreiche Evaluierung über sechs Modelle (von 1,7B bis 32B) und acht Benchmarks zeigt, dass M2PO ein stabiles Off-Policy-Training selbst bei Daten ermöglicht, die mindestens 256 Modellupdates alt sind, und dabei die On-Policy-Leistung erreicht.

English

Reinforcement learning has been central to recent advances in large language model reasoning, but most algorithms rely on on-policy training that demands fresh rollouts at every update, limiting efficiency and scalability. Asynchronous RL systems alleviate this by decoupling rollout generation from training, yet their effectiveness hinges on tolerating large staleness in rollout data, a setting where existing methods either degrade in performance or collapse. We revisit this challenge and uncover a prosperity-before-collapse phenomenon: stale data can be as informative as on-policy data if exploited properly. Building on this insight, we introduce M2PO (Second-Moment Trust Policy Optimization), which constrains the second moment of importance weights to suppress only extreme outliers while preserving informative updates. Notably, M2PO sharply reduces the fraction of clipped tokens under high staleness (from 1.22% to 0.06% over training), precisely masking high-variance tokens while maintaining stable optimization. Extensive evaluation across six models (from 1.7B to 32B) and eight benchmarks shows that M2PO delivers stable off-policy training even with data stale by at least 256 model updates and matches on-policy performance.