Regolarizzazione dell'Entropia delle Attivazioni: Potenziamento del Controllo Continuo, Modelli Linguistici di Grande Scala e Classificazione di Immagini con Attivazioni come Vincoli di Entropia

Entropy Regularizing Activation: Boosting Continuous Control, Large Language Models, and Image Classification with Activation as Entropy Constraints

October 9, 2025

Autori: Zilin Kang, Chonghua Liao, Tingqiang Xu, Huazhe Xu

cs.AI

Abstract

Proponiamo ERA, un nuovo paradigma che vincola l'entropia di campionamento al di sopra di soglie specifiche applicando funzioni di attivazione appositamente progettate agli output dei modelli. Il nostro approccio dimostra un'efficacia ampia in diversi domini: 1) per i grandi modelli linguistici (LLM), incrementando il punteggio AIME 2025 per Qwen2.5-Math-7B del 37.4%; 2) per gli agenti di apprendimento per rinforzo nel controllo continuo, migliorando le prestazioni di oltre il 30% rispetto a baseline robuste come SAC su HumanoidBench, un ambiente particolarmente impegnativo; 3) per la classificazione di immagini, aumentando l'accuratezza top-1 su ImageNet dello 0.69% per ResNet-50. Questi miglioramenti sono ottenuti con un sovraccarico computazionale inferiore al 7%. Il nostro lavoro valida l'attivazione degli output come uno strumento potente per il controllo dell'entropia, aprendo una nuova direzione per la progettazione di algoritmi più semplici e robusti.

English

We propose ERA, a new paradigm that constrains the sampling entropy above given thresholds by applying specially designed activations to the outputs of models. Our approach demonstrates broad effectiveness across different domains: 1) for large language models(LLMs), boosting the AIME 2025 score for Qwen2.5-Math-7B by 37.4%; 2) for continuous control reinforcement learning agents, improving performance by more than 30% over strong baselines such as SAC on the challenging HumanoidBench; 3) for image classification, enhancing ImageNet top-1 accuracy by 0.69% for ResNet-50. These gains are achieved with a computational overhead of less than 7%. Our work validates output activation as a powerful tool for entropy control, opening a new direction for designing simpler and more robust algorithms.