Optimisation de politiques ascendante : votre modèle de langage contient secrètement des politiques internes

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

December 22, 2025

papers.authors: Yuqiao Tan, Minzheng Wang, Shizhu He, Huanxuan Liao, Chengfeng Zhao, Qiunan Lu, Tian Liang, Jun Zhao, Kang Liu

cs.AI

papers.abstract

Les approches existantes d'apprentissage par renforcement (RL) traitent les grands modèles de langage (LLM) comme une politique unique et unifiée, négligeant leurs mécanismes internes. Comprendre comment la politique évolue à travers les couches et les modules est donc crucial pour permettre une optimisation plus ciblée et démêler les mécanismes de raisonnement complexes. Dans cet article, nous décomposons la politique du modèle de langage en exploitant la séparation intrinsèque du flux résiduel du Transformer et l'équivalence entre la composition des états cachés avec la matrice de dé-embedding et la politique échantillonnable résultante. Cette décomposition révèle des Politiques Internes par Couche, correspondant aux contributions des couches individuelles, et des Politiques Internes Modulaires, qui s'alignent sur les composantes d'auto-attention et de réseau feed-forward (FFN) au sein de chaque couche. En analysant l'entropie de la politique interne, nous constatons que : (a) Les premières couches maintiennent une entropie élevée pour l'exploration, tandis que les couches supérieures convergent vers une entropie proche de zéro pour l'affinement, les patterns de convergence variant selon les séries de modèles. (b) L'espace de prédiction de LLama converge rapidement dans la dernière couche, alors que les modèles de la série Qwen, en particulier Qwen3, présentent un pattern de raisonnement plus humain, progressivement structuré. Motivés par ces résultats, nous proposons l'Optimisation de Politique Ascendante (BuPO), un nouveau paradigme de RL qui optimise directement la politique interne des couches durant les premières phases de l'entraînement. En alignant l'objectif d'entraînement sur les couches inférieures, BuPO reconstruit les capacités de raisonnement fondamentales et obtient des performances supérieures. Des expériences approfondies sur des benchmarks de raisonnement complexe démontrent l'efficacité de notre méthode. Notre code est disponible à l'adresse https://github.com/Trae1ounG/BuPO.

English

Existing reinforcement learning (RL) approaches treat large language models (LLMs) as a single unified policy, overlooking their internal mechanisms. Understanding how policy evolves across layers and modules is therefore crucial for enabling more targeted optimization and raveling out complex reasoning mechanisms. In this paper, we decompose the language model policy by leveraging the intrinsic split of the Transformer residual stream and the equivalence between the composition of hidden states with the unembedding matrix and the resulting samplable policy. This decomposition reveals Internal Layer Policies, corresponding to contributions from individual layers, and Internal Modular Policies, which align with the self-attention and feed-forward network (FFN) components within each layer. By analyzing the entropy of internal policy, we find that: (a) Early layers keep high entropy for exploration, top layers converge to near-zero entropy for refinement, with convergence patterns varying across model series. (b) LLama's prediction space rapidly converges in the final layer, whereas Qwen-series models, especially Qwen3, exhibit a more human-like, progressively structured reasoning pattern. Motivated by these findings, we propose Bottom-up Policy Optimization (BuPO), a novel RL paradigm that directly optimizes the internal layer policy during early training. By aligning training objective at lower layer, BuPO reconstructs foundational reasoning capabilities and achieves superior performance. Extensive experiments on complex reasoning benchmarks demonstrates the effectiveness of our method. Our code is available at https://github.com/Trae1ounG/BuPO.