Logit-Beitrags-Scoring identifiziert nicht-wörtliche Retrieval-Heads

Zusammenfassung

Bei der Nutzung langer Kontexte synthetisieren große Sprachmodelle häufig Antworten aus der Bedeutung eines relevanten Kontextabschnitts, anstatt sie wörtlich zu kopieren. Die Identifizierung der Aufmerksamkeitsköpfe, die diese Synthese durchführen, ist für die Interpretation des Verhaltens von Modellen mit langen Kontexten von Bedeutung. Dennoch übersehen bestehende Detektoren diese Köpfe konstruktionsbedingt: Sie belohnen Köpfe, deren beachtetes Token mit dem generierten Token übereinstimmt – ein Kriterium des wörtlichen Kopierens, das erfasst, wo ein Kopf liest, nicht aber, was er durch seinen Output-Value-(OV)-Schaltkreis schreibt, genau jenen Mechanismus, der nicht-wörtliches Abrufen transportiert. Wir führen Logit-Contribution Scoring (LOCOS) ein, einen schreibbewussten Detektor, der jeden Kopf durch die Projektion seines OV-Schaltkreis-Ausgangs auf die Unembedding-Richtung des Antwort-Tokens bewertet, wobei Nadel- und Nicht-Nadel-Quellpositionen in einem einzigen Vorwärtsdurchlauf kontrastiert werden. Über drei Modellfamilien (Qwen3, Gemma-3, OLMo-3.1) hinweg führt die mittlere Ablation der höchstbewerteten LOCOS-Köpfe im NoLiMa-Benchmark für nicht-wörtliches Abrufen bei niedrigeren Kopfanzahlen zu einem Zusammenbruch von ROUGE-L als frühere aufmerksamkeitsbasierte Detektionen; bei Qwen3-8B treibt die Ablation von 50 Köpfen ROUGE-L von 0,401 auf 0,000, während die stärkste Baseline immer noch 0,292 beibehält. Die ausgewählten Köpfe sind abrufspezifisch: Parametrisches Erinnern und arithmetisches Denken bleiben unter derselben Ablation auf dem Baseline-Niveau. Bei Qwen3-8B senkt dieselbe Ablation auch MuSiQue von 0,55 auf 0,08 und BABI-Long von 0,62 auf 0,20, während eine Kontrolle mit zufälligen Köpfen innerhalb von 0,05 der Baseline bleibt.

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.