2Mamba2Furious：線形の計算量で高精度を実現

2Mamba2Furious: Linear in Complexity, Competitive in Accuracy

February 19, 2026

著者: Gabriel Mongaras, Eric C. Larson

cs.AI

要旨

線形注意トランスフォーマーは、その効率性からソフトマックス注意の強力な代替として注目されている。しかし、線形注意は表現力が低く、ソフトマックス注意と比較して精度が低下する傾向がある。この精度差を埋めるため、我々は強力な線形注意の変種であるMamba-2を改良する。まず、Mamba-2を最も基本的かつ重要な構成要素まで単純化し、どの特定の選択が高精度に寄与するかを評価する。この簡略化されたMamba変種（Mamba-2S）を基に、Aマスクを改良し隠れ状態の次数を増やすことで、ソフトマックス注意と同等に近い精度を持ちながら、長い文脈長に対してはるかにメモリ効率の良い手法「2Mamba」を開発した。さらに、Mamba-2がソフトマックス注意の精度を凌駕する要素についても調査する。すべての実験のコードを公開している。

English

Linear attention transformers have become a strong alternative to softmax attention due to their efficiency. However, linear attention tends to be less expressive and results in reduced accuracy compared to softmax attention. To bridge the accuracy gap between softmax attention and linear attention, we manipulate Mamba-2, a very strong linear attention variant. We first simplify Mamba-2 down to its most fundamental and important components, evaluating which specific choices make it most accurate. From this simplified Mamba variant (Mamba-2S), we improve the A-mask and increase the order of the hidden state, resulting in a method, which we call 2Mamba, that is nearly as accurate as softmax attention, yet much more memory efficient for long context lengths. We also investigate elements to Mamba-2 that help surpass softmax attention accuracy. Code is provided for all our experiments