ロジット貢献スコアリングは非リテラル検索ヘッドを特定する

要旨

長文コンテキスト利用において、大規模言語モデルは関連するコンテキストスパンの意味から回答を合成することが多く、文字通りのコピー・アンド・ペーストは行わない。どのアテンションヘッドがこの合成を行っているかを特定することは、長文コンテキストにおけるモデル動作の解釈にとって重要である。しかし、既存の検出器はその構造上これらのヘッドを見逃している。なぜなら、これらは注目されたトークンが生成トークンと一致するヘッドに報酬を与える、文字コピー基準に依存しており、これはヘッドがどこから読み取るかは捉えられるが、その出力値（OV）回路を通じて何を書き出すか、すなわち非文字通りの検索を担うまさにそのメカニズムは捉えられないからである。本論文では、書き出しを認識する検出器であるロジット寄与スコアリング（LOCOS）を導入する。LOCOSは、各ヘッドのOV回路出力を回答トークンのアンエンベッディング方向に射影した値でスコア付けし、単一の順伝搬においてニードルとオフニードルのソース位置を対比する。3つのモデルファミリー（Qwen3、Gemma-3、OLMo-3.1）において、非文字通りの検索ベンチマークNoLiMa上で上位LOCOSヘッドを平均アブレーションすると、従来のアテンションに基づく検出法よりも少ないヘッド数でROUGE-Lが低下する。Qwen3-8Bでは、50ヘッドのアブレーションでROUGE-Lが0.401から0.000に低下する一方、最も強力なベースラインは依然として0.292を保持する。選択されたヘッドは検索特異的であり、同じアブレーション条件下でパラメトリック想起や算術推論はベースラインに留まる。Qwen3-8Bでは、同じアブレーションによりMuSiQueが0.55から0.08、BABI-Longが0.62から0.20に低下する一方、ランダムヘッドによる対照実験ではベースラインからの変動は0.05以内に留まる。

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.