하이브리드 선형 어텐션 대규모 언어 모델에서의 대규모 활성화: 어텐션 전 스파이크와 스파이크 간 평탄 구간

초록

우리는 층간 인터리브된 HLA LLM에서 Massive activations(MA, 대규모 활성화)에 대한 최초의 체계적 연구를 제시하며, 아키텍처와 정렬된 두 가지 형태를 밝혀낸다. MA는 전체 어텐션 계층 직전에 일관되게 스파이크하여 어텐션 전 스파이크(PAS)를 형성하며, 그 사이에 있는 선형 어텐션 계층들을 통해 지속되어 스파이크 간 평탄 구간(ISP)을 만들어 낼 수 있다. 전체 어텐션 계층이 더 조밀해질수록 연속적인 PAS는 ISP를 통해 점점 더 연결되며, 궁극적으로 전체 어텐션 LLM의 안정적인 MA 형태를 복원한다. 우리는 5가지 선형 어텐션 아키텍처, 6가지 하이브리드 구성, 5가지 데이터 도메인, 그리고 총 파라미터 수 1.2B에서 397B에 이르는 대표적인 오픈소스 하이브리드 모델 전반에서 이러한 구성이 반복적으로 나타남을 입증한다. GDN 기반 하이브리드 모델을 최대 1.3B 규모로 통제된 사전학습을 수행한 결과, 두 형태 모두 초기에 나타나며 출력 게이팅에 비대칭적으로 반응한다는 것을 보여준다. 즉, 전체 어텐션 출력 게이팅은 이들의 절대 크기를 크게 감쇠시키지만 층별 구성을 제거하지 않는 반면, GDN 게이트를 제거하면 비교적 작은 증폭이 발생한다. 메커니즘 측면에서, 우리의 체계적 이상치 분석은 MA 상쇄 시점에 의해 결정되는 공통된 수명 주기 설명을 지지한다. PAS는 국소적인 기록-흡수-상쇄(write-sink-cancel) 과정을 따르는 반면, ISP의 지속성이 길게 나타나는 것은 지연된 상쇄와 일치한다. 전체 어텐션 극한에서 이 설명은 전체 어텐션 LLM의 특징인 안정적인 MA 형태를 복원한다. 우리의 코드는 https://github.com/StartluxLabs/Massive-Activations-HLA 에서 확인할 수 있다.

English

We present the first systematic study of Massive activations (MAs) in layer-interleaved HLA LLMs and uncover two architecture-aligned morphologies: MAs consistently spike immediately before full attention layers, forming pre-attention spikes (PAS), and can persist through intervening linear attention layers, giving rise to inter-spike plateaus (ISP). As full attention becomes denser, successive PAS become increasingly connected through ISP, ultimately recovering the stable MA morphology of full attention LLMs. We establish the recurrence of this organization across five linear attention architectures, six hybridization configurations, five data domains, and representative open-source hybrid models spanning 1.2B to 397B total parameters. Controlled pretraining of GDN-based hybrids at scales up to 1.3B shows that both morphologies emerge early and respond asymmetrically to output gating: full attention output gating strongly attenuates their absolute magnitudes without eliminating their layerwise organization, whereas removing GDN gates yields comparatively modest amplification. Mechanistically, our systematic-outlier analysis supports a shared lifecycle account governed by the timing of MA cancellation. PAS follows a localized write-sink-cancel process, while the extended persistence of ISP is consistent with delayed cancellation. At the full attention limit, this account recovers the stable MA morphology characteristic of full attention LLMs. Our code is available at https://github.com/StartluxLabs/Massive-Activations-HLA.