Prosperidad antes del colapso: ¿Hasta dónde puede llegar el aprendizaje por refuerzo fuera de política con datos obsoletos en modelos de lenguaje grandes?

Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?

October 1, 2025

Autores: Haizhong Zheng, Jiawei Zhao, Bedi Chen

cs.AI

Resumen

El aprendizaje por refuerzo ha sido fundamental en los avances recientes en el razonamiento de modelos de lenguaje a gran escala, pero la mayoría de los algoritmos dependen de entrenamiento on-policy que requiere nuevas simulaciones en cada actualización, lo que limita la eficiencia y escalabilidad. Los sistemas de RL asíncronos mitigan esto al desacoplar la generación de simulaciones del entrenamiento, aunque su efectividad depende de tolerar un alto desfase en los datos de las simulaciones, un escenario en el que los métodos existentes o bien degradan su rendimiento o colapsan. Revisitamos este desafío y descubrimos un fenómeno de prosperidad-antes-del-colapso: los datos desfasados pueden ser tan informativos como los datos on-policy si se explotan adecuadamente. Basándonos en esta idea, presentamos M2PO (Optimización de Políticas de Confianza del Segundo Momento), que restringe el segundo momento de los pesos de importancia para suprimir solo los valores atípicos extremos mientras preserva actualizaciones informativas. Notablemente, M2PO reduce drásticamente la fracción de tokens recortados bajo un alto desfase (del 1.22% al 0.06% durante el entrenamiento), enmascarando precisamente los tokens de alta varianza mientras mantiene una optimización estable. Una evaluación exhaustiva en seis modelos (de 1.7B a 32B) y ocho benchmarks muestra que M2PO ofrece un entrenamiento off-policy estable incluso con datos desfasados por al menos 256 actualizaciones del modelo y coincide con el rendimiento on-policy.

English

Reinforcement learning has been central to recent advances in large language model reasoning, but most algorithms rely on on-policy training that demands fresh rollouts at every update, limiting efficiency and scalability. Asynchronous RL systems alleviate this by decoupling rollout generation from training, yet their effectiveness hinges on tolerating large staleness in rollout data, a setting where existing methods either degrade in performance or collapse. We revisit this challenge and uncover a prosperity-before-collapse phenomenon: stale data can be as informative as on-policy data if exploited properly. Building on this insight, we introduce M2PO (Second-Moment Trust Policy Optimization), which constrains the second moment of importance weights to suppress only extreme outliers while preserving informative updates. Notably, M2PO sharply reduces the fraction of clipped tokens under high staleness (from 1.22% to 0.06% over training), precisely masking high-variance tokens while maintaining stable optimization. Extensive evaluation across six models (from 1.7B to 32B) and eight benchmarks shows that M2PO delivers stable off-policy training even with data stale by at least 256 model updates and matches on-policy performance.