ハイブリッド線形アテンション大規模言語モデルにおける大規模活性化：アテンション前スパイクとスパイク間プラトー

要旨

我々は、層インターリーブ型HLA（ハイブリッド線形注意）LLMにおけるMassive activations（MA）の最初の体系的研究を提示し、アーキテクチャに整合した2つの形態を明らかにする。MAは、フルアテンション層の直前に一貫してスパイクし、注意前スパイク（PAS）を形成し、介在する線形注意層を通じて持続することにより、スパイク間プラトー（ISP）を生じる。フルアテンション層がより密に配置されるにつれて、連続するPASはISPを介してますます連結され、最終的にフルアテンションLLMに特徴的な安定したMA形態を再現する。我々は、この構造が、5つの線形注意アーキテクチャ、6つのハイブリッド構成、5つのデータドメイン、および総パラメータ数12億〜3970億にわたる代表的なオープンソースのハイブリッドモデルにわたって再現されることを示す。最大13億パラメータ規模のGDNベースのハイブリッドモデルに対する制御付き事前学習は、両方の形態が早期に出現し、出力ゲーティングに対して非対称に応答することを示す：フルアテンションの出力ゲーティングは、層ごとの構造を排除することなくそれらの絶対的な大きさを強く減衰させる一方、GDNゲートの除去は比較的穏やかな増幅をもたらす。機構的には、我々の系統的な外れ値分析は、MAキャンセルのタイミングによって支配される共通のライフサイクル説明を支持する。PASは局所的な書き込み・シンク・キャンセルプロセスに従うのに対し、ISPの長期持続は遅延キャンセルと整合的である。フルアテンションの極限では、この説明はフルアテンションLLMに特徴的な安定したMA形態を再現する。我々のコードは https://github.com/StartluxLabs/Massive-Activations-HLA で入手可能である。

English

We present the first systematic study of Massive activations (MAs) in layer-interleaved HLA LLMs and uncover two architecture-aligned morphologies: MAs consistently spike immediately before full attention layers, forming pre-attention spikes (PAS), and can persist through intervening linear attention layers, giving rise to inter-spike plateaus (ISP). As full attention becomes denser, successive PAS become increasingly connected through ISP, ultimately recovering the stable MA morphology of full attention LLMs. We establish the recurrence of this organization across five linear attention architectures, six hybridization configurations, five data domains, and representative open-source hybrid models spanning 1.2B to 397B total parameters. Controlled pretraining of GDN-based hybrids at scales up to 1.3B shows that both morphologies emerge early and respond asymmetrically to output gating: full attention output gating strongly attenuates their absolute magnitudes without eliminating their layerwise organization, whereas removing GDN gates yields comparatively modest amplification. Mechanistically, our systematic-outlier analysis supports a shared lifecycle account governed by the timing of MA cancellation. PAS follows a localized write-sink-cancel process, while the extended persistence of ISP is consistent with delayed cancellation. At the full attention limit, this account recovers the stable MA morphology characteristic of full attention LLMs. Our code is available at https://github.com/StartluxLabs/Massive-Activations-HLA.