로짓 기여 점수화는 비문자적 검색 헤드를 식별한다.

초록

긴 문맥 사용에서, 대규모 언어 모델은 관련 문맥 범위의 의미로부터 답변을 합성하는 경우가 많으며, 문자 그대로 복사하여 붙여넣지 않는다. 이러한 합성을 수행하는 주의 헤드(attention head)를 식별하는 것은 긴 문맥 모델의 행동을 해석하는 데 중요하다. 그러나 기존 탐지기들은 설계상 이런 헤드들을 놓친다. 이들은 주의를 기울인 토큰이 생성된 토큰과 일치하는 헤드에 보상을 주는데, 이는 문자 그대로 복사하는 기준으로, 헤드가 읽는 위치는 포착하지만 출력-값(OV) 회로를 통해 쓰는 내용은 포착하지 못하며, 이것이 바로 비문자적 검색을 수행하는 메커니즘이다. 우리는 LOCOS(Logit-Contribution Scoring)를 도입한다. 이는 쓰기 인식 탐지기로, 각 헤드의 OV 회로 출력을 답변 토큰 임베딩 해제 방향으로 투영하여 점수를 매기며, 단일 순방향 패스에서 바늘(needle)과 비바늘(off-needle) 소스 위치를 대조한다. 세 가지 모델 계열(Qwen3, Gemma-3, OLMo-3.1)에서, NoLiMa 비문자적 검색 벤치마크에 대해 상위 LOCOS 헤드를 평균 절제(mean-ablate)하면 이전의 주의 기반 탐지보다 더 적은 헤드 수로 ROUGE-L이 붕괴된다. Qwen3-8B에서 50개 헤드를 절제하면 ROUGE-L이 0.401에서 0.000으로 떨어지는 반면, 가장 강력한 기준선은 여전히 0.292를 유지한다. 선택된 헤드는 검색에 특화되어 있다: 동일한 절제 하에서 매개변수적 회상(parametric recall)과 산술 추론(arithmetic reasoning)은 기준선 수준을 유지한다. Qwen3-8B에서 동일한 절제는 MuSiQue를 0.55에서 0.08로, BABI-Long을 0.62에서 0.20으로 떨어뜨리는 반면, 무작위 헤드 대조군은 기준선의 0.05 이내를 유지한다.

English

In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matters for interpreting long-context model behavior. Yet existing detectors miss these heads by construction: they reward heads whose attended token matches the generated token, a literal-copy criterion that captures where a head reads but not what it writes through its output-value (OV) circuit, the very mechanism that carries non-literal retrieval. We introduce Logit-Contribution Scoring (LOCOS), a write-aware detector that scores each head by the projection of its OV-circuit output onto the answer-token unembedding direction, contrasting needle and off-needle source positions in a single forward pass. Across three model families (Qwen3, Gemma-3, OLMo-3.1), mean-ablating the top LOCOS heads on the NoLiMa non-literal retrieval benchmark collapses ROUGE-L at lower head counts than prior attention-based detections; on Qwen3-8B, ablating 50 heads drives ROUGE-L from 0.401 to 0.000 while the strongest baseline still retains 0.292. The selected heads are retrieval-specific: parametric recall and arithmetic reasoning stay at baseline under the same ablation. On Qwen3-8B, the same ablation also drops MuSiQue from 0.55 to 0.08 and BABI-Long from 0.62 to 0.20, while a random-heads control stays within 0.05 of baseline.