Aanpak van prestatieverzadiging bij LLM-RL via precieze entropiecurvecontrole

Samenvatting

Reinforcement learning (RL) heeft complexe redeneervaardigheden mogelijk gemaakt in grote taalmodellen (LLM's). De meeste RL-algoritmen hebben echter te maken met prestatiesaturatie, waardoor verdere winst uitblijft naarmate de RL-training opschaalt. Dit probleem kan worden gekarakteriseerd door de instorting van entropie, een belangrijke diagnostische maatstaf voor exploratie in RL. Bestaande pogingen richten zich op het voorkomen van entropie-instorting via regularisatie of clipping. De resulterende entropiecurves vertonen echter vaak instabiliteit op de lange termijn, wat prestatieverbeteringen belemmert. In dit artikel introduceren we Entrocraft, een eenvoudige verwerpingssteekproefmethode die door de gebruiker gedefinieerde entropieschema's realiseert door het beïnvloeden van de voordeelverdelingen. Entrocraft vereist geen objectiefregularisatie en is onafhankelijk van de specifieke schatter van het voordeel. Theoretisch brengen we de verandering van entropie per stap in verband met de voordeelverdeling onder minimale aannames. Dit verklaart het gedrag van bestaande RL- en entropiebehoudende methoden. Entrocraft maakt ook een systematische studie van entropieschema's mogelijk, waaruit blijkt dat lineaire annealing, die hoog begint en vervalt naar een iets lager streefniveau, het beste presteert. Empirisch gezien pakt Entrocraft de prestatiesaturatie aan, met aanzienlijke verbeteringen in generalisatie, outputdiversiteit en training op de lange termijn. Het stelt een 4B-model in staat om een 8B-baseline te overtreffen, handhaaft verbetering tot 4x langer voordat een plateau wordt bereikt en verhoogt pass@K met 50% ten opzichte van de baseline.

English

Reinforcement learning (RL) has enabled complex reasoning abilities in large language models (LLMs). However, most RL algorithms suffer from performance saturation, preventing continued gains as RL training scales. This problem can be characterized by the collapse of entropy, a key diagnostic for exploration in RL. Existing attempts focus on preventing entropy collapse through regularization or clipping. However, their resulting entropy curves often exhibit instability in the long term, which hinders performance gains. In this paper, we introduce Entrocraft, a simple rejection-sampling approach that realizes user-customized entropy schedule by biasing the advantage distributions. Entrocraft requires no objective regularization and is advantage-estimator-agnostic. Theoretically, we relate per-step entropy change to the advantage distribution under minimal assumptions. This explains the behavior of existing RL and entropy-preserving methods. Entrocraft also enables a systematic study of entropy schedules, which reveals that linear annealing, which starts high and decays to a slightly lower target, performs best. Empirically, Entrocraft addresses performance saturation, significantly improving generalization, output diversity, and long-term training. It enables a 4B model to outperform an 8B baseline, sustains improvement for up to 4x longer before plateauing, and raises pass@K by 50% over the baseline.