LLM의 인식-거부 불일치: 모델은 왜 구조적으로 답할 수 없는 질문에 답하는가

초록

대규모 언어 모델은 종종 답변을 보류하는 대신 cot(-540°) 계산하기나 (1).startswith("1") 평가하기와 같이 구조적으로 답할 수 없는 질문에 답한다. 우리는 이러한 실패가 인식의 결여를 반영하는지, 아니면 인식에서 보류로 이어지는 라우팅의 실패를 반영하는지 묻는다. 1.7B에서 70B 매개변수에 이르는 인스트럭션 튜닝 모델 전반에서, 은닉 상태의 단일 선형 방향이 답할 수 있는 수학 및 코드 프롬프트와 구조적으로 불가능한 수학 및 코드 프롬프트를 분리하며, 이는 모델이 생성 전에 불가능성을 표상함을 보여 준다. 그러나 이 인식 방향은 훈련된 유해 콘텐츠 거부를 매개하는 표준적인 안전 거부 방향과 거의 직교한다. 도메인 내에서 행동으로 정의되는 무효성 인지 방향은 인식 방향에 더 가깝지만, 그것과 부분적으로만 정렬되어 있으며 안전 거부와는 거의 직교한 상태로 남는다. 생성 시점에 인식 방향을 따라 스티어링하면 구조적 수학 및 코드 셀에서 무효성 인지 행동이 양방향으로, 그리고 용량 반응적으로 변하지만, 무작위 방향은 그렇지 않다. 베이스/인스트럭트 비교는 낮은 코사인 기하 구조가 이미 사전학습 종료 지점에 존재함을 추가로 보여 준다. 따라서 불가능한 것에 대해 확신하는 실패는 인코딩 실패라기보다 라우팅 실패로 더 잘 설명된다: 모델은 사용 가능한 "허용 가능한 답이 없음" 신호를 가지고 있지만, 안전 거부 경로는 이를 사용하도록 정렬되어 있지 않다.

English

Large language models often answer structurally unanswerable questions, such as computing cot(-540°) or evaluating (1).startswith("1"), instead of abstaining. We ask whether this failure reflects missing recognition or failed routing from recognition to abstention. Across instruction-tuned models from 1.7B to 70B parameters, a single linear direction in the hidden state separates answerable from structurally impossible math and code prompts, showing that models represent impossibility before generation. Yet this recognition direction is nearly orthogonal to the canonical safety-refusal direction that mediates trained harmful-content refusal. An in-domain behavior-defined invalidity-aware direction is closer to recognition, but only partially aligned with it, and remains near-orthogonal to safety refusal. Generation-time steering along the recognition direction changes invalidity-aware behavior bidirectionally and dose-responsively on structural math and code cells, while random directions do not. Base/instruct comparisons further show that the low-cosine geometry is already present at the pretraining endpoint. The confident-on-impossible failure is therefore better explained as a routing failure than as an encoding failure: the model has a usable "no admissible answer" signal, but the safety-refusal pathway is not aligned to use it.