Один слой, чтобы объяснить их все: Понимание массивных активаций в больших языковых моделях

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

May 8, 2026

Авторы: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

cs.AI

Аннотация

Мы исследуем происхождение массивных активаций в больших языковых моделях (LLM) и выделяем конкретный слой, названный Слоем Массового Возникновения (ME Layer), который последовательно наблюдается в разных семействах моделей, где массивные активации впервые возникают и впоследствии распространяются на более глубокие слои через остаточные соединения. Мы показываем, что в пределах ME Layer как параметры RMSNorm, так и FFN совместно способствуют возникновению массивных активаций. После формирования представление токена массивной активации остается в значительной степени инвариантным между слоями, снижая разнообразие скрытых представлений, передаваемых модулю внимания. Руководствуясь этим ограничением, мы предлагаем простой и эффективный метод снижения ригидности токена массивной активации. Наш подход последовательно улучшает производительность LLM в ряде задач, включая следование инструкциям и математические рассуждения, как в условиях без обучения, так и при тонкой настройке. Кроме того, мы показываем, что наш метод смягчает эффект «поглотителей внимания» путем избирательного ослабления их влияния, проясняя их происхождение на уровне скрытых состояний и проливая новый свет на принципиальные стратегии смягчения.

English

We investigate the origins of massive activations in large language models (LLMs) and identify a specific layer named the Massive Emergence Layer (ME Layer), that is consistently observed across model families, where massive activations first emerge and subsequently propagate to deeper layers through residual connections. We show that, within the ME Layer both the RMSNorm and the FFN parameters jointly contribute to the emergence of massive activations. Once formed, the massive activation token representation remains largely invariant across layers, reducing the diversity of hidden representations passed to the attention module. Motivated by this limitation, we propose a simple and effective method to reduce the rigidity of the massive activation token. Our approach consistently improves LLM performance across multiple tasks, including instruction following and math reasoning, in both training free and fine tuning settings. Moreover, we show that our method mitigates attention sinks by selectively weakening their influence, elucidating their origin at the hidden state level and shedding new light on principled mitigation strategies.