Оценка вклада логитов идентифицирует головки небуквального извлечения

Аннотация

При использовании длинного контекста большие языковые модели часто синтезируют ответы на основе смысла релевантного фрагмента контекста, а не буквально копируют их. Идентификация голов внимания, выполняющих такой синтез, важна для интерпретации поведения модели в длинном контексте. Однако существующие детекторы по своей конструкции не обнаруживают такие головы: они поощряют головы, у которых attended-токен совпадает с сгенерированным токеном — это критерий буквального копирования, фиксирующий то, откуда голова считывает, но не то, что она записывает через свою цепь выходного значения (output-value, OV), которая как раз и отвечает за небуквальное извлечение. Мы предлагаем метод Logit-Contribution Scoring (LOCOS) — детектор, учитывающий запись, который оценивает каждую голову по проекции выхода её OV-цепи на направление развёртывания (unembedding) токена-ответа, сопоставляя позиции источника на игле и вне иглы за один прямой проход. На трёх семействах моделей (Qwen3, Gemma-3, OLMo-3.1) средняя абляция топ-голов LOCOS на тесте небуквального извлечения NoLiMa приводит к падению ROUGE-L при меньшем количестве голов по сравнению с предыдущими методами на основе внимания; на Qwen3-8B абляция 50 голов снижает ROUGE-L с 0,401 до 0,000, в то время как сильнейший базовый метод всё ещё сохраняет значение 0,292. Отобранные головы специфичны для извлечения: параметрическое воспроизведение и арифметические рассуждения остаются на исходном уровне при той же абляции. На Qwen3-8B та же абляция также снижает MuSiQue с 0,55 до 0,08 и BABI-Long с 0,62 до 0,20, в то время как контрольная группа со случайными головами отклоняется от исходного уровня не более чем на 0,05.

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.