大規模言語モデルにおける認識と拒否の不整合：なぜモデルは構造的に回答不能な質問に答えるのか

要旨

大規模言語モデルは、例えば cot(-540°) を計算したり (1).startswith("1") を評価したりするような構造的に解答不能な問題に対して、回答を差し控えるのではなく、しばしば回答してしまう。我々は、この失敗が認識の欠如を反映しているのか、それとも認識から回答の差し控えへのルーティングの失敗を反映しているのかを問う。1.7Bから70Bパラメータまでの指示チューニング済みモデルにおいて、隠れ状態内の単一の線形方向が、解答可能な数学・コードプロンプトと構造的に不可能な数学・コードプロンプトを分離し、モデルが生成前に不可能性を表現していることを示す。しかし、この認識方向は、訓練された有害コンテンツ拒否を媒介する標準的な安全性拒否方向とほぼ直交している。ドメイン内で行動に基づいて定義された無効性認識方向は、認識により近いが、それと部分的にしか整合しておらず、安全性拒否とは依然としてほぼ直交している。生成時のステアリングを認識方向に沿って行うと、構造的な数学およびコードのセルにおいて、無効性認識行動が双方向かつ用量依存的に変化するが、ランダム方向では変化しない。ベースモデルと指示チューニング済みモデルの比較はさらに、低コサインの幾何構造が事前学習終了時点ですでに存在していることを示している。したがって、不可能問題で自信を持ってしまう失敗は、符号化の失敗というよりもルーティングの失敗としてよりよく説明される。モデルは使用可能な「許容可能な回答なし」信号を持っているが、安全性拒否経路はそれを使うように整合していない。

English

Large language models often answer structurally unanswerable questions, such as computing cot(-540°) or evaluating (1).startswith("1"), instead of abstaining. We ask whether this failure reflects missing recognition or failed routing from recognition to abstention. Across instruction-tuned models from 1.7B to 70B parameters, a single linear direction in the hidden state separates answerable from structurally impossible math and code prompts, showing that models represent impossibility before generation. Yet this recognition direction is nearly orthogonal to the canonical safety-refusal direction that mediates trained harmful-content refusal. An in-domain behavior-defined invalidity-aware direction is closer to recognition, but only partially aligned with it, and remains near-orthogonal to safety refusal. Generation-time steering along the recognition direction changes invalidity-aware behavior bidirectionally and dose-responsively on structural math and code cells, while random directions do not. Base/instruct comparisons further show that the low-cosine geometry is already present at the pretraining endpoint. The confident-on-impossible failure is therefore better explained as a routing failure than as an encoding failure: the model has a usable "no admissible answer" signal, but the safety-refusal pathway is not aligned to use it.