Abordando a Saturação de Desempenho para RL de LLM via Controle Preciso da Curva de Entropia

Resumo

O aprendizado por reforço (RL) tem possibilitado capacidades complexas de raciocínio em grandes modelos de linguagem (LLMs). No entanto, a maioria dos algoritmos de RL sofre de saturação de desempenho, impedindo ganhos contínuos à medida que o treinamento com RL é ampliado. Esse problema pode ser caracterizado pelo colapso da entropia, um diagnóstico fundamental para a exploração em RL. As tentativas existentes concentram-se em evitar o colapso da entropia por meio de regularização ou recorte. No entanto, suas curvas de entropia resultantes frequentemente exibem instabilidade a longo prazo, o que dificulta os ganhos de desempenho. Neste artigo, apresentamos o Entrocraft, uma abordagem simples de amostragem por rejeição que realiza um agendamento de entropia personalizado pelo usuário ao enviesar as distribuições de vantagem. O Entrocraft não requer regularização de objetivo e é independente do estimador de vantagem. Teoricamente, relacionamos a mudança de entropia por passo à distribuição de vantagem sob suposições mínimas. Isso explica o comportamento dos métodos existentes de RL e de preservação de entropia. O Entrocraft também permite um estudo sistemático de agendamentos de entropia, revelando que o recozimento linear, que começa alto e decai para um alvo ligeiramente inferior, apresenta o melhor desempenho. Empiricamente, o Entrocraft resolve a saturação de desempenho, melhorando significativamente a generalização, a diversidade de saída e o treinamento a longo prazo. Ele permite que um modelo de 4B supere uma baseline de 8B, sustenta a melhoria por até 4x mais tempo antes de atingir um platô e eleva o pass@K em 50% em relação à baseline.

English

Reinforcement learning (RL) has enabled complex reasoning abilities in large language models (LLMs). However, most RL algorithms suffer from performance saturation, preventing continued gains as RL training scales. This problem can be characterized by the collapse of entropy, a key diagnostic for exploration in RL. Existing attempts focus on preventing entropy collapse through regularization or clipping. However, their resulting entropy curves often exhibit instability in the long term, which hinders performance gains. In this paper, we introduce Entrocraft, a simple rejection-sampling approach that realizes user-customized entropy schedule by biasing the advantage distributions. Entrocraft requires no objective regularization and is advantage-estimator-agnostic. Theoretically, we relate per-step entropy change to the advantage distribution under minimal assumptions. This explains the behavior of existing RL and entropy-preserving methods. Entrocraft also enables a systematic study of entropy schedules, which reveals that linear annealing, which starts high and decays to a slightly lower target, performs best. Empirically, Entrocraft addresses performance saturation, significantly improving generalization, output diversity, and long-term training. It enables a 4B model to outperform an 8B baseline, sustains improvement for up to 4x longer before plateauing, and raises pass@K by 50% over the baseline.