LaTIM: Mambaモデルにおける潜在的なトークン間相互作用の測定

LaTIM: Measuring Latent Token-to-Token Interactions in Mamba Models

February 21, 2025

著者: Hugo Pitorro, Marcos Treviso

cs.AI

要旨

状態空間モデル（SSMs）、特にMambaは、長文脈系列モデリングにおいてTransformerに代わる効率的な選択肢として台頭してきました。しかし、その採用が拡大しているにもかかわらず、SSMsには、アテンションベースのアーキテクチャの理解と改善に不可欠であった解釈可能性ツールが欠如しています。最近の研究ではMambaの内部メカニズムに関する洞察が提供されていますが、トークンレベルの寄与を明示的に分解しておらず、Mambaが層を跨いで系列を選択的に処理する方法の理解にギャップが残っています。本研究では、Mamba-1およびMamba-2の両方に対して、きめ細かい解釈可能性を可能にする新しいトークンレベル分解手法であるLaTIMを提案します。機械翻訳、コピー、検索ベース生成など多様なタスクにおいて本手法を広範に評価し、Mambaのトークン間相互作用パターンを明らかにする有効性を実証します。

English

State space models (SSMs), such as Mamba, have emerged as an efficient alternative to transformers for long-context sequence modeling. However, despite their growing adoption, SSMs lack the interpretability tools that have been crucial for understanding and improving attention-based architectures. While recent efforts provide insights into Mamba's internal mechanisms, they do not explicitly decompose token-wise contributions, leaving gaps in understanding how Mamba selectively processes sequences across layers. In this work, we introduce LaTIM, a novel token-level decomposition method for both Mamba-1 and Mamba-2 that enables fine-grained interpretability. We extensively evaluate our method across diverse tasks, including machine translation, copying, and retrieval-based generation, demonstrating its effectiveness in revealing Mamba's token-to-token interaction patterns.