Оптимизация политики снизу вверх: ваша языковая модель скрывает внутренние политики

Аннотация

Существующие подходы обучения с подкреплением (RL) рассматривают большие языковые модели (LLM) как единую унифицированную политику, игнорируя их внутренние механизмы. Поэтому понимание того, как политика эволюционирует по слоям и модулям, крайне важно для обеспечения более целенаправленной оптимизации и раскрытия сложных механизмов рассуждений. В данной работе мы декомпозируем политику языковой модели, используя внутреннее разделение резidual-потока Трансформера и эквивалентность между композицией скрытых состояний с матрицей развложения и результирующей сэмплируемой политикой. Эта декомпозиция выявляет Внутренние Политики Слоев, соответствующие вкладам от отдельных слоев, и Внутренние Модульные Политики, которые соответствуют компонентам self-attention и feed-forward network (FFN) внутри каждого слоя. Анализируя энтропию внутренней политики, мы обнаруживаем, что: (a) Ранние слои сохраняют высокую энтропию для исследования, а верхние слои сходятся к почти нулевой энтропии для уточнения, причем паттерны сходимости различаются в разных сериях моделей. (b) Пространство предсказаний LLama быстро сходится на последнем слое, тогда как модели серии Qwen, особенно Qwen3, демонстрируют более похожий на человеческий, прогрессивно структурированный паттерн рассуждений. Мотивированные этими находками, мы предлагаем Bottom-up Policy Optimization (BuPO), новую парадигму RL, которая напрямую оптимизирует внутреннюю политику слоев на ранних этапах обучения. Согласовывая цель обучения на нижних слоях, BuPO восстанавливает базовые способности к рассуждению и достигает превосходной производительности. Масштабные эксперименты на бенчмарках сложных рассуждений демонстрируют эффективность нашего метода. Наш код доступен по адресу https://github.com/Trae1ounG/BuPO.

English

Existing reinforcement learning (RL) approaches treat large language models (LLMs) as a single unified policy, overlooking their internal mechanisms. Understanding how policy evolves across layers and modules is therefore crucial for enabling more targeted optimization and raveling out complex reasoning mechanisms. In this paper, we decompose the language model policy by leveraging the intrinsic split of the Transformer residual stream and the equivalence between the composition of hidden states with the unembedding matrix and the resulting samplable policy. This decomposition reveals Internal Layer Policies, corresponding to contributions from individual layers, and Internal Modular Policies, which align with the self-attention and feed-forward network (FFN) components within each layer. By analyzing the entropy of internal policy, we find that: (a) Early layers keep high entropy for exploration, top layers converge to near-zero entropy for refinement, with convergence patterns varying across model series. (b) LLama's prediction space rapidly converges in the final layer, whereas Qwen-series models, especially Qwen3, exhibit a more human-like, progressively structured reasoning pattern. Motivated by these findings, we propose Bottom-up Policy Optimization (BuPO), a novel RL paradigm that directly optimizes the internal layer policy during early training. By aligning training objective at lower layer, BuPO reconstructs foundational reasoning capabilities and achieves superior performance. Extensive experiments on complex reasoning benchmarks demonstrates the effectiveness of our method. Our code is available at https://github.com/Trae1ounG/BuPO.

Оптимизация политики снизу вверх: ваша языковая модель скрывает внутренние политики

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

Аннотация

Support