Puntuación de Contribución de Logit Identifica Cabezas de Recuperación No Literales

Resumen

En el uso de contexto largo, los modelos de lenguaje grandes frecuentemente sintetizan respuestas a partir del significado de un fragmento de contexto relevante, en lugar de copiarlas literalmente. Identificar qué cabezas de atención realizan esta síntesis es importante para interpretar el comportamiento del modelo en contextos largos. Sin embargo, los detectores existentes pasan por alto estas cabezas por construcción: recompensan a aquellas cuyo token atendido coincide con el token generado, un criterio de copia literal que captura dónde lee una cabeza, pero no lo que escribe a través de su circuito de valor de salida (OV), que es precisamente el mecanismo que realiza la recuperación no literal. Introducimos la Puntuación de Contribución de Logits (LOCOS, por sus siglas en inglés), un detector consciente de escritura que puntúa cada cabeza mediante la proyección de la salida de su circuito OV sobre la dirección de desincrustación del token respuesta, contrastando las posiciones fuente de la aguja y fuera de la aguja en una única pasada hacia adelante. En tres familias de modelos (Qwen3, Gemma-3, OLMo-3.1), la ablación promedio de las cabezas LOCOS principales en el benchmark de recuperación no literal NoLiMa reduce ROUGE-L con un número menor de cabezas que las detecciones previas basadas en atención; en Qwen3-8B, ablacionar 50 cabezas reduce ROUGE-L de 0,401 a 0,000, mientras que la línea base más fuerte aún retiene 0,292. Las cabezas seleccionadas son específicas de recuperación: el recuerdo paramétrico y el razonamiento aritmético permanecen en la línea base bajo la misma ablación. En Qwen3-8B, la misma ablación también reduce MuSiQue de 0,55 a 0,08 y BABI-Long de 0,62 a 0,20, mientras que un control con cabezas aleatorias se mantiene dentro de 0,05 de la línea base.

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.