Le scoring par contribution des logits identifie les têtes de récupération non littérales.

Résumé

Dans le cadre de l'utilisation de longs contextes, les grands modèles de langue synthétisent fréquemment des réponses à partir du sens d'un segment de contexte pertinent plutôt qu'en les copiant littéralement. Identifier les têtes d'attention responsables de cette synthèse est essentiel pour interpréter le comportement des modèles en contextes longs. Pourtant, les détecteurs existants ne parviennent pas à identifier ces têtes par construction : ils récompensent les têtes dont le jeton attendu correspond au jeton généré, un critère de copie littérale qui capture l'endroit où une tête lit, mais pas ce qu'elle écrit via son circuit de valeur de sortie (OV), mécanisme même qui assure le rappel non littéral. Nous introduisons le Score de Contribution Logit (LOCOS), un détecteur sensible à l'écriture qui évalue chaque tête par la projection de la sortie de son circuit OV dans la direction de désencastrement du jeton de réponse, en contrastant les positions sources aiguille et hors aiguille en un seul passage avant. Dans trois familles de modèles (Qwen3, Gemma-3, OLMo-3.1), l'ablation moyenne des meilleures têtes LOCOS sur le benchmark de rappel non littéral NoLiMa effondre le ROUGE-L avec un nombre de têtes inférieur à celui des détections antérieures basées sur l'attention ; sur Qwen3-8B, l'ablation de 50 têtes fait chuter le ROUGE-L de 0,401 à 0,000 tandis que la référence la plus forte conserve encore 0,292. Les têtes sélectionnées sont spécifiques au rappel : le rappel paramétrique et le raisonnement arithmétique restent à leur niveau de référence sous la même ablation. Sur Qwen3-8B, la même ablation réduit également MuSiQue de 0,55 à 0,08 et BABI-Long de 0,62 à 0,20, tandis qu'un contrôle avec des têtes aléatoires reste à moins de 0,05 de la référence.

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.