EntroPIC : Vers un entraînement stable à long terme des LLM via la stabilisation de l'entropie par contrôle proportionnel-intégral

EntroPIC: Towards Stable Long-Term Training of LLMs via Entropy Stabilization with Proportional-Integral Control

November 19, 2025

papers.authors: Kai Yang, Xin Xu, Yangkun Chen, Weijie Liu, Jiafei Lyu, Zichuan Lin, Deheng Ye, Saiyong Yang

cs.AI

papers.abstract

L'entraînement à long terme des grands modèles de langage (LLM) nécessite de maintenir une exploration stable pour éviter que le modèle ne s'effondre dans des comportements sous-optimaux. L'entropie est cruciale dans ce contexte, car elle contrôle l'exploration et aide à éviter une convergence prématurée vers des solutions sous-optimales. Cependant, les méthodes existantes d'apprentissage par renforcement peinent à maintenir un niveau d'entropie approprié, le processus d'entraînement impliquant un mélange d'échantillons positifs et négatifs, chacun affectant l'entropie de manière différente au fil des étapes. Pour résoudre ce problème, nous proposons la **Stabilisation de l'Entropie par Contrôle Proportionnel-Intégral (EntroPIC)**, une méthode novatrice qui ajuste de manière adaptive l'influence des échantillons positifs et négatifs en modulant dynamiquement leurs coefficients de perte. Cette approche stabilise l'entropie tout au long de l'entraînement, garantissant une exploration efficace et une progression régulière. Nous fournissons une analyse théorique complète pour les cadres d'apprentissage sur politique et hors politique, démontrant qu'EntroPIC est efficace pour contrôler l'entropie dans l'entraînement à grande échelle des LLM. Les résultats expérimentaux montrent que notre méthode maintient avec succès les niveaux d'entropie souhaités, permettant un entraînement RL stable et optimal pour les LLM.

English

Long-term training of large language models (LLMs) requires maintaining stable exploration to prevent the model from collapsing into sub-optimal behaviors. Entropy is crucial in this context, as it controls exploration and helps avoid premature convergence to sub-optimal solutions. However, existing reinforcement learning methods struggle to maintain an appropriate level of entropy, as the training process involves a mix of positive and negative samples, each affecting entropy in different ways across steps. To address this, we propose Entropy stablilization via Proportional-Integral Control (EntroPIC), a novel method that adaptively adjusts the influence of positive and negative samples by dynamically tuning their loss coefficients. This approach stabilizes entropy throughout training, ensuring efficient exploration and steady progress. We provide a comprehensive theoretical analysis for both on-policy and off-policy learning settings, demonstrating that EntroPIC is effective at controlling entropy in large-scale LLM training. Experimental results show that our method successfully maintains desired entropy levels, enabling stable and optimal RL training for LLMs.