EntroPIC: К стабильному долгосрочному обучению больших языковых моделей с помощью стабилизации энтропии пропорционально-интегральным регулятором

EntroPIC: Towards Stable Long-Term Training of LLMs via Entropy Stabilization with Proportional-Integral Control

November 19, 2025

Авторы: Kai Yang, Xin Xu, Yangkun Chen, Weijie Liu, Jiafei Lyu, Zichuan Lin, Deheng Ye, Saiyong Yang

cs.AI

Аннотация

Длительное обучение крупных языковых моделей (LLM) требует поддержания стабильного исследования, чтобы предотвратить коллапс модели в субоптимальные режимы поведения. Энтропия играет ключевую роль в этом контексте, поскольку она управляет исследованием и помогает избежать преждевременной сходимости к субоптимальным решениям. Однако существующие методы обучения с подкреплением не способны поддерживать соответствующий уровень энтропии, поскольку процесс обучения включает смесь позитивных и негативных примеров, каждый из которых по-разному влияет на энтропию на различных шагах. Для решения этой проблемы мы предлагаем метод стабилизации энтропии с помощью пропорционально-интегрального регулятора (EntroPIC) — новый подход, который адаптивно корректирует влияние позитивных и негативных примеров за счёт динамической настройки коэффициентов их потерь. Этот метод стабилизирует энтропию на протяжении всего обучения, обеспечивая эффективное исследование и устойчивый прогресс. Мы предоставляем всесторонний теоретический анализ для сценариев обучения как на политике, так и вне политики, демонстрируя, что EntroPIC эффективно управляет энтропией при масштабном обучении LLM. Результаты экспериментов показывают, что наш метод успешно поддерживает желаемые уровни энтропии, обеспечивая стабильное и оптимальное RL-обучение для языковых моделей.

English

Long-term training of large language models (LLMs) requires maintaining stable exploration to prevent the model from collapsing into sub-optimal behaviors. Entropy is crucial in this context, as it controls exploration and helps avoid premature convergence to sub-optimal solutions. However, existing reinforcement learning methods struggle to maintain an appropriate level of entropy, as the training process involves a mix of positive and negative samples, each affecting entropy in different ways across steps. To address this, we propose Entropy stablilization via Proportional-Integral Control (EntroPIC), a novel method that adaptively adjusts the influence of positive and negative samples by dynamically tuning their loss coefficients. This approach stabilizes entropy throughout training, ensuring efficient exploration and steady progress. We provide a comprehensive theoretical analysis for both on-policy and off-policy learning settings, demonstrating that EntroPIC is effective at controlling entropy in large-scale LLM training. Experimental results show that our method successfully maintains desired entropy levels, enabling stable and optimal RL training for LLMs.