「明確に表現できていなかったかもしれません」：推論時における大規模言語モデルの動的不安定性の診断

"I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time

February 2, 2026

著者: Jinkun Chen, Fengxiang Cheng, Sijia Han, Vlado Keselj

cs.AI

要旨

大規模言語モデル（LLM）における推論失敗は、通常生成の最終段階でのみ測定されるが、多くの失敗はプロセスレベルの破綻として現れる：モデルは推論途中で「思考の脈絡を見失う」のである。本研究では、このような破綻が、学習やファインチューニングを一切必要とせず、標準的なAPIで利用可能な推論時観測値（トークン生起確率）から検出可能かどうかを検討する。我々は、連続ステップ間の分布変化（JSD）と不確実性（エントロピー）を組み合わせた単純な不安定性信号を定義し、各推論軌跡をその不安定性のピーク強度で要約する。この信号が失敗を確実に予測することを示す。GSM8KとHotpotQAにおいて、不安定性強度は誤答をチャンスレベルを上回るAUCで予測し、モデルサイズを横断した大規模なバケット単位での精度低下を単調に示す。決定的に重要なのは、不安定性が一様に有害ではないことである：初期の不安定性はその後の安定化と正しい最終回答（修正的不安定性）を反映し得るのに対し、後期の不安定性は、同等のピーク強度であっても、より頻繁に失敗（破壊的不安定性）に至る。これは、回復可能性が分布の変化の強さだけでなく、その変化が残りのデコード過程においていつ発生するかにも依存することを示唆する。本手法はモデル非依存、学習不要、再現性があり、修正や制御機構ではなく、診断的視点として提示される。

English

Reasoning failures in large language models (LLMs) are typically measured only at the end of a generation, yet many failures manifest as a process-level breakdown: the model "loses the thread" mid-reasoning. We study whether such breakdowns are detectable from inference-time observables available in standard APIs (token log probabilities), without any training or fine-tuning. We define a simple instability signal that combines consecutive-step distributional shift (JSD) and uncertainty (entropy), summarize each trace by its peak instability strength, and show that this signal reliably predicts failure. Across GSM8K and HotpotQA, instability strength predicts wrong answers with above-chance AUC and yields monotonic bucket-level accuracy decline at scale across model sizes. Crucially, we show that instability is not uniformly harmful: early instability can reflect subsequent stabilization and a correct final answer (corrective instability), whereas late instability is more often followed by failure (destructive instability), even at comparable peak magnitudes, indicating that recoverability depends not only on how strongly the distribution changes but also on when such changes occur relative to the remaining decoding horizon. The method is model-agnostic, training-free, and reproducible, and is presented as a diagnostic lens rather than a corrective or control mechanism.