Otimização de Políticas de Baixo para Cima: Seu Modelo de Linguagem como Política Contém Secretamente Políticas Internas

Resumo

As abordagens existentes de aprendizagem por reforço (RL) tratam os grandes modelos de linguagem (LLMs) como uma única política unificada, negligenciando seus mecanismos internos. Compreender como a política evolui através das camadas e módulos é, portanto, crucial para permitir uma otimização mais direcionada e desvendar mecanismos complexos de raciocínio. Neste artigo, decompomos a política do modelo de linguagem aproveitando a divisão intrínseca do fluxo residual do Transformer e a equivalência entre a composição dos estados ocultos com a matriz de "desincorporação" (*unembedding*) e a política amostrável resultante. Esta decomposição revela Políticas Internas de Camada, correspondentes às contribuições de camadas individuais, e Políticas Internas Modulares, que se alinham com os componentes de auto-atenção e rede *feed-forward* (FFN) dentro de cada camada. Ao analisar a entropia da política interna, descobrimos que: (a) As camadas iniciais mantêm alta entropia para exploração, enquanto as camadas superiores convergem para entropia próxima de zero para refinamento, com padrões de convergência variando entre séries de modelos. (b) O espaço de previsão do LLama converge rapidamente na camada final, enquanto os modelos da série Qwen, especialmente o Qwen3, exibem um padrão de raciocínio progressivamente estruturado, mais semelhante ao humano. Motivados por essas descobertas, propomos a Otimização de Política de Baixo para Cima (BuPO), um novo paradigma de RL que otimiza diretamente a política interna de camada durante o treinamento inicial. Ao alinhar o objetivo de treinamento na camada inferior, a BuPO reconstrói capacidades fundamentais de raciocínio e alcança desempenho superior. Experimentos extensos em benchmarks de raciocínio complexo demonstram a eficácia do nosso método. Nosso código está disponível em https://github.com/Trae1ounG/BuPO.

English

Existing reinforcement learning (RL) approaches treat large language models (LLMs) as a single unified policy, overlooking their internal mechanisms. Understanding how policy evolves across layers and modules is therefore crucial for enabling more targeted optimization and raveling out complex reasoning mechanisms. In this paper, we decompose the language model policy by leveraging the intrinsic split of the Transformer residual stream and the equivalence between the composition of hidden states with the unembedding matrix and the resulting samplable policy. This decomposition reveals Internal Layer Policies, corresponding to contributions from individual layers, and Internal Modular Policies, which align with the self-attention and feed-forward network (FFN) components within each layer. By analyzing the entropy of internal policy, we find that: (a) Early layers keep high entropy for exploration, top layers converge to near-zero entropy for refinement, with convergence patterns varying across model series. (b) LLama's prediction space rapidly converges in the final layer, whereas Qwen-series models, especially Qwen3, exhibit a more human-like, progressively structured reasoning pattern. Motivated by these findings, we propose Bottom-up Policy Optimization (BuPO), a novel RL paradigm that directly optimizes the internal layer policy during early training. By aligning training objective at lower layer, BuPO reconstructs foundational reasoning capabilities and achieves superior performance. Extensive experiments on complex reasoning benchmarks demonstrates the effectiveness of our method. Our code is available at https://github.com/Trae1ounG/BuPO.

Otimização de Políticas de Baixo para Cima: Seu Modelo de Linguagem como Política Contém Secretamente Políticas Internas

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

Resumo

Support