OctoThinker: Стимуляция в процессе обучения способствует масштабированию обучения с подкреплением

OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling

June 25, 2025

Авторы: Zengzhi Wang, Fan Zhou, Xuefeng Li, Pengfei Liu

cs.AI

Аннотация

Различные семейства базовых языковых моделей, такие как Llama и Qwen, демонстрируют различные поведенческие характеристики в процессе пост-обучения с использованием обучения с подкреплением (RL), особенно на задачах, требующих интенсивного логического мышления. Что делает базовую языковую модель подходящей для обучения с подкреплением? Более глубокое понимание этого вопроса крайне важно для разработки масштабируемых базовых моделей следующего поколения. В данной работе мы исследуем, как стратегии промежуточного обучения влияют на динамику RL, сосредоточившись на двух репрезентативных семействах моделей: Qwen и Llama. Наше исследование показывает, что (1) высококачественные математические корпуса, такие как MegaMath-Web-Pro, значительно улучшают как базовую модель, так и производительность RL, в то время как существующие альтернативы (например, FineMath-4plus) не достигают этого; (2) дополнительное добавление данных в формате вопросов и ответов, особенно примеров с длинными цепочками рассуждений (CoT), улучшает результаты RL, а инструктивные данные дополнительно усиливают этот эффект; (3) хотя длинные CoT улучшают глубину рассуждений, они также могут вызывать избыточную многословность ответов модели и нестабильность обучения RL, что подчеркивает важность форматирования данных; (4) масштабирование промежуточного обучения последовательно приводит к более высокой производительности RL на последующих этапах. На основе этих инсайтов мы представляем двухэтапную стратегию промежуточного обучения, Stable-then-Decay, в которой базовые модели сначала обучаются на 200 миллиардах токенов с постоянной скоростью обучения, а затем на 20 миллиардах токенов в трех ветках, ориентированных на CoT, с уменьшением скорости обучения. Это приводит к созданию OctoThinker, семейства моделей, демонстрирующих высокую совместимость с RL и сокращающих разрыв в производительности с более дружественными к RL семействами моделей, такими как Qwen. Мы надеемся, что наша работа поможет сформировать стратегии предварительного обучения для базовых моделей в эпоху RL. Для поддержки дальнейших исследований мы публикуем наши модели с открытым исходным кодом вместе с тщательно отобранным корпусом математических задач, требующих интенсивного логического мышления, объемом более 70 миллиардов токенов (MegaMath-Web-Pro-Max).

English

Different base language model families, such as Llama and Qwen, exhibit divergent behaviors during post-training with reinforcement learning (RL), especially on reasoning-intensive tasks. What makes a base language model suitable for reinforcement learning? Gaining deeper insight into this question is essential for developing RL-scalable foundation models of the next generation. In this work, we investigate how mid-training strategies shape RL dynamics, focusing on two representative model families: Qwen and Llama. Our study reveals that (1) high-quality mathematical corpora, such as MegaMath-Web-Pro, significantly improve both base model and RL performance, while existing alternatives (e.g., FineMath-4plus) fail to do so; (2) further adding QA-style data, particularly long chain-of-thought (CoT) reasoning examples, enhances RL outcomes, and instruction data further unlocks this effect; (3) while long-CoT improves reasoning depth, it can also induce verbosity of model responses and unstability of RL training, underscoring the importance of data formatting; (4) scaling mid-training consistently leads to stronger downstream RL performance. Building on these insights, we introduce a two-stage mid-training strategy, Stable-then-Decay, in which base models are first trained on 200B tokens with a constant learning rate, followed by 20B tokens across three CoT-focused branches with learning rate decay. This yields OctoThinker, a family of models demonstrating strong RL compatibility and closing the performance gap with more RL-friendly model families, i.e., Qwen. We hope our work will help shape pre-training strategies for foundation models in the RL era. To support further research, we release our open-source models along with a curated math reasoning-intensive corpus of over 70 billion tokens (i.e., MegaMath-Web-Pro-Max).