Процветание перед крахом: Насколько далеко может зайти обучение с подкреплением на устаревших данных в крупных языковых моделях?

Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?

October 1, 2025

Авторы: Haizhong Zheng, Jiawei Zhao, Bedi Chen

cs.AI

Аннотация

Обучение с подкреплением сыграло ключевую роль в последних достижениях в области рассуждений больших языковых моделей, однако большинство алгоритмов полагаются на обучение на основе текущей политики, что требует новых прогонов на каждом этапе обновления, ограничивая эффективность и масштабируемость. Асинхронные системы обучения с подкреплением смягчают эту проблему, разделяя генерацию прогонов и обучение, но их эффективность зависит от способности справляться с высокой устареваемостью данных прогонов — условие, при котором существующие методы либо теряют производительность, либо полностью перестают работать. Мы возвращаемся к этой проблеме и обнаруживаем феномен "процветания перед коллапсом": устаревшие данные могут быть столь же информативными, как и данные текущей политики, если их правильно использовать. Основываясь на этом наблюдении, мы представляем M2PO (Second-Moment Trust Policy Optimization), который ограничивает второй момент весов важности, чтобы подавлять только крайние выбросы, сохраняя при этом информативные обновления. Примечательно, что M2PO значительно сокращает долю обрезанных токенов при высокой устареваемости (с 1,22% до 0,06% в процессе обучения), точно маскируя токены с высокой дисперсией, сохраняя стабильную оптимизацию. Обширная оценка на шести моделях (от 1,7 млрд до 32 млрд параметров) и восьми бенчмарках показывает, что M2PO обеспечивает стабильное обучение вне текущей политики даже с данными, устаревшими как минимум на 256 обновлений модели, и соответствует производительности обучения на текущей политике.

English

Reinforcement learning has been central to recent advances in large language model reasoning, but most algorithms rely on on-policy training that demands fresh rollouts at every update, limiting efficiency and scalability. Asynchronous RL systems alleviate this by decoupling rollout generation from training, yet their effectiveness hinges on tolerating large staleness in rollout data, a setting where existing methods either degrade in performance or collapse. We revisit this challenge and uncover a prosperity-before-collapse phenomenon: stale data can be as informative as on-policy data if exploited properly. Building on this insight, we introduce M2PO (Second-Moment Trust Policy Optimization), which constrains the second moment of importance weights to suppress only extreme outliers while preserving informative updates. Notably, M2PO sharply reduces the fraction of clipped tokens under high staleness (from 1.22% to 0.06% over training), precisely masking high-variance tokens while maintaining stable optimization. Extensive evaluation across six models (from 1.7B to 32B) and eight benchmarks shows that M2PO delivers stable off-policy training even with data stale by at least 256 model updates and matches on-policy performance.