LLMは自身の失敗を予測できるか？内部回路による自己認識の可能性

要旨

大規模言語モデル（LLM）は流暢で複雑な出力を生成するが、自身の誤りや虚構（ハルシネーション）を認識できないことが多い。既存のアプローチは通常、外部評価器、複数サンプルによる一貫性検証、またはテキストベースの自己批判に依存しており、追加の計算コストが発生するか、真の正答性との相関が弱い。我々は問う：LLMは推論中の内部状態を監視することで、自身の失敗を予測できるか？本論文では、凍結されたLLMが隠れ状態と注意パターンからの信号をデコードすることで内省的な自己検証を行う、軽量な自己認識機構「Gnosis」を提案する。Gnosisは内部トレースを受動的に観測し、固定予算の記述子に圧縮し、ごくわずかな推論コストで正答性を予測する。追加パラメータは約500万に抑えられ、系列長に依存せず動作する。数学推論、オープンドメイン質問応答、学術知識ベンチマークにおいて、1.7Bから20Bパラメータの凍結バックボーンを用いた実験では、Gnosisは強力な内部ベースラインや大規模外部評価器を精度と較正の両面で一貫して上回った。さらに、部分生成に対してもゼロショットで一般化し、失敗軌道の早期検出と計算量を考慮した制御を可能にする。これらの結果は、信頼性の高い正答性の手がかりが生成プロセスに内在し、外部監督なしで効率的に抽出可能であることを示唆する。

English

Large language models (LLMs) generate fluent and complex outputs but often fail to recognize their own mistakes and hallucinations. Existing approaches typically rely on external judges, multi-sample consistency, or text-based self-critique, which incur additional compute or correlate weakly with true correctness. We ask: can LLMs predict their own failures by inspecting internal states during inference? We introduce Gnosis, a lightweight self-awareness mechanism that enables frozen LLMs to perform intrinsic self-verification by decoding signals from hidden states and attention patterns. Gnosis passively observes internal traces, compresses them into fixed-budget descriptors, and predicts correctness with negligible inference cost, adding only ~5M parameters and operating independently of sequence length. Across math reasoning, open-domain question answering, and academic knowledge benchmarks, and over frozen backbones ranging from 1.7B to 20B parameters, Gnosis consistently outperforms strong internal baselines and large external judges in both accuracy and calibration. Moreover, it generalizes zero-shot to partial generations, enabling early detection of failing trajectories and compute-aware control. These results show that reliable correctness cues are intrinsic to generation process and can be extracted efficiently without external supervision.

LLMは自身の失敗を予測できるか？内部回路による自己認識の可能性

Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

要旨

Support