EntroPIC: Rumo a um Treinamento Estável de Longo Prazo de LLMs via Estabilização de Entropia com Controle Proporcional-Integral

EntroPIC: Towards Stable Long-Term Training of LLMs via Entropy Stabilization with Proportional-Integral Control

November 19, 2025

Autores: Kai Yang, Xin Xu, Yangkun Chen, Weijie Liu, Jiafei Lyu, Zichuan Lin, Deheng Ye, Saiyong Yang

cs.AI

Resumo

O treinamento de longo prazo de grandes modelos de linguagem (LLMs) requer a manutenção de uma exploração estável para evitar que o modelo colapse em comportamentos subótimos. A entropia é crucial neste contexto, pois controla a exploração e ajuda a evitar a convergência prematura para soluções subótimas. No entanto, os métodos de aprendizagem por reforço existentes lutam para manter um nível adequado de entropia, uma vez que o processo de treinamento envolve uma mistura de amostras positivas e negativas, cada uma afetando a entropia de maneiras diferentes ao longo das etapas. Para resolver isso, propomos a Estabilização de Entropia via Controle Proporcional-Integral (EntroPIC), um método novo que ajusta adaptativamente a influência das amostras positivas e negativas por meio da sintonia dinâmica dos seus coeficientes de perda. Esta abordagem estabiliza a entropia durante todo o treinamento, garantindo uma exploração eficiente e um progresso constante. Apresentamos uma análise teórica abrangente para configurações de aprendizagem *on-policy* e *off-policy*, demonstrando que o EntroPIC é eficaz no controle da entropia no treinamento de LLMs em larga escala. Resultados experimentais mostram que o nosso método mantém com sucesso os níveis de entropia desejados, permitindo um treinamento por RL estável e ótimo para LLMs.

English

Long-term training of large language models (LLMs) requires maintaining stable exploration to prevent the model from collapsing into sub-optimal behaviors. Entropy is crucial in this context, as it controls exploration and helps avoid premature convergence to sub-optimal solutions. However, existing reinforcement learning methods struggle to maintain an appropriate level of entropy, as the training process involves a mix of positive and negative samples, each affecting entropy in different ways across steps. To address this, we propose Entropy stablilization via Proportional-Integral Control (EntroPIC), a novel method that adaptively adjusts the influence of positive and negative samples by dynamically tuning their loss coefficients. This approach stabilizes entropy throughout training, ensuring efficient exploration and steady progress. We provide a comprehensive theoretical analysis for both on-policy and off-policy learning settings, demonstrating that EntroPIC is effective at controlling entropy in large-scale LLM training. Experimental results show that our method successfully maintains desired entropy levels, enabling stable and optimal RL training for LLMs.