Una sola capa para explicarlos a todos: Comprendiendo las activaciones masivas en grandes modelos de lenguaje

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

May 8, 2026

Autores: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

cs.AI

Resumen

Investigamos los orígenes de las activaciones masivas en modelos de lenguaje de gran escala (LLMs) e identificamos una capa específica denominada Capa de Emergencia Masiva (ME Layer), que se observa consistentemente en todas las familias de modelos, donde las activaciones masivas surgen por primera vez y posteriormente se propagan a capas más profundas a través de conexiones residuales. Demostramos que, dentro de la Capa ME, tanto los parámetros de RMSNorm como los de la FFN contribuyen conjuntamente a la aparición de activaciones masivas. Una vez formadas, la representación del token de activación masiva se mantiene en gran medida invariante entre capas, reduciendo la diversidad de representaciones ocultas que se transmiten al módulo de atención. Motivados por esta limitación, proponemos un método simple y efectivo para reducir la rigidez del token de activación masiva. Nuestro enfoque mejora consistentemente el rendimiento de los LLMs en múltiples tareas, incluyendo el seguimiento de instrucciones y el razonamiento matemático, tanto en configuraciones sin entrenamiento como de ajuste fino. Además, mostramos que nuestro método mitiga los sumideros de atención al debilitar selectivamente su influencia, elucidando su origen a nivel de estados ocultos y arrojando nueva luz sobre estrategias de mitigación fundamentadas.

English

We investigate the origins of massive activations in large language models (LLMs) and identify a specific layer named the Massive Emergence Layer (ME Layer), that is consistently observed across model families, where massive activations first emerge and subsequently propagate to deeper layers through residual connections. We show that, within the ME Layer both the RMSNorm and the FFN parameters jointly contribute to the emergence of massive activations. Once formed, the massive activation token representation remains largely invariant across layers, reducing the diversity of hidden representations passed to the attention module. Motivated by this limitation, we propose a simple and effective method to reduce the rigidity of the massive activation token. Our approach consistently improves LLM performance across multiple tasks, including instruction following and math reasoning, in both training free and fine tuning settings. Moreover, we show that our method mitigates attention sinks by selectively weakening their influence, elucidating their origin at the hidden state level and shedding new light on principled mitigation strategies.