Bottom-up Policy-optimalisatie: Uw Taalmodel Beleid Bevat Stiekeme Interne Beleidsregels

Samenvatting

Bestaande reinforcement learning (RL) benaderingen behandelen grote taalmodellen (LLM's) als een enkel verenigd beleid, waarbij hun interne mechanismen over het hoofd worden gezien. Het begrijpen van hoe het beleid evolueert over lagen en modules heen is daarom cruciaal voor het mogelijk maken van gerichtere optimalisatie en het ontrafelen van complexe redeneermechanismen. In dit artikel ontleden we het taalmodelbeleid door gebruik te maken van de intrinsieke splitsing van de Transformer residual stream en de equivalentie tussen de compositie van verborgen toestanden met de unembedding matrix en het resulterende bemonsterbare beleid. Deze decompositie onthult Intern Laagbeleid, corresponderend met bijdragen van individuele lagen, en Intern Modulair Beleid, dat overeenkomt met de self-attention en feed-forward network (FFN) componenten binnen elke laag. Door de entropie van het interne beleid te analyseren, vinden we dat: (a) Vroege lagen een hoge entropie behouden voor exploratie, terwijl toplagen convergeren naar een entropie nabij nul voor verfijning, waarbij convergentiepatronen variëren tussen modelseries. (b) LLama's voorspellingsruimte snel convergeert in de laatste laag, terwijl Qwen-seriële modellen, met name Qwen3, een meer mensachtig, geleidelijk gestructureerd redeneerpatroon vertonen. Gemotiveerd door deze bevindingen stellen we Bottom-up Policy Optimization (BuPO) voor, een nieuwe RL-paradigma dat het interne laagbeleid direct optimaliseert tijdens de vroege training. Door het trainingsdoel af te stemmen op lagere lagen, reconstrueert BuPO fundamentele redeneervermogens en behaalt superieure prestaties. Uitgebreide experimenten op complexe redeneerbenchmarks demonstreren de effectiviteit van onze methode. Onze code is beschikbaar op https://github.com/Trae1ounG/BuPO.

English

Existing reinforcement learning (RL) approaches treat large language models (LLMs) as a single unified policy, overlooking their internal mechanisms. Understanding how policy evolves across layers and modules is therefore crucial for enabling more targeted optimization and raveling out complex reasoning mechanisms. In this paper, we decompose the language model policy by leveraging the intrinsic split of the Transformer residual stream and the equivalence between the composition of hidden states with the unembedding matrix and the resulting samplable policy. This decomposition reveals Internal Layer Policies, corresponding to contributions from individual layers, and Internal Modular Policies, which align with the self-attention and feed-forward network (FFN) components within each layer. By analyzing the entropy of internal policy, we find that: (a) Early layers keep high entropy for exploration, top layers converge to near-zero entropy for refinement, with convergence patterns varying across model series. (b) LLama's prediction space rapidly converges in the final layer, whereas Qwen-series models, especially Qwen3, exhibit a more human-like, progressively structured reasoning pattern. Motivated by these findings, we propose Bottom-up Policy Optimization (BuPO), a novel RL paradigm that directly optimizes the internal layer policy during early training. By aligning training objective at lower layer, BuPO reconstructs foundational reasoning capabilities and achieves superior performance. Extensive experiments on complex reasoning benchmarks demonstrates the effectiveness of our method. Our code is available at https://github.com/Trae1ounG/BuPO.

Bottom-up Policy-optimalisatie: Uw Taalmodel Beleid Bevat Stiekeme Interne Beleidsregels

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

Samenvatting

Support