"Posso Não Ter Me Expressado com Clareza": Diagnosticando a Instabilidade Dinâmica no Raciocínio de LLMs Durante a Inferência

"I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time

February 2, 2026

Autores: Jinkun Chen, Fengxiang Cheng, Sijia Han, Vlado Keselj

cs.AI

Resumo

As falhas de raciocínio em modelos de linguagem de grande escala (LLMs) são tipicamente medidas apenas no final de uma geração, no entanto, muitas falhas se manifestam como uma quebra a nível do processo: o modelo "perde o fio da meada" durante o raciocínio. Investigamos se tais quebras são detectáveis a partir de observáveis disponíveis em tempo de inferência nas APIs padrão (probabilidades logarítmicas dos tokens), sem qualquer treinamento ou ajuste fino. Definimos um sinal simples de instabilidade que combina a variação distribucional em etapas consecutivas (JSD) e a incerteza (entropia), resumimos cada traço pela sua força de instabilidade de pico e mostramos que este sinal prevê falhas de forma confiável. Através dos conjuntos GSM8K e HotpotQA, a força de instabilidade prevê respostas erradas com AUC acima do acaso e produz um declínio monotónico na precisão a nível de grupos em grande escala e através de diferentes tamanhos de modelos. Crucialmente, mostramos que a instabilidade não é uniformemente prejudicial: a instabilidade precoce pode refletir uma subsequente estabilização e uma resposta final correta (instabilidade corretiva), enquanto a instabilidade tardia é mais frequentemente seguida de falha (instabilidade destrutiva), mesmo com magnitudes de pico comparáveis, indicando que a recuperabilidade depende não apenas da intensidade da mudança na distribuição, mas também de quando tais mudanças ocorrem em relação ao horizonte de decodificação restante. O método é independente do modelo, livre de treinamento e reproduzível, sendo apresentado como uma lente de diagnóstico e não como um mecanismo corretivo ou de controlo.

English

Reasoning failures in large language models (LLMs) are typically measured only at the end of a generation, yet many failures manifest as a process-level breakdown: the model "loses the thread" mid-reasoning. We study whether such breakdowns are detectable from inference-time observables available in standard APIs (token log probabilities), without any training or fine-tuning. We define a simple instability signal that combines consecutive-step distributional shift (JSD) and uncertainty (entropy), summarize each trace by its peak instability strength, and show that this signal reliably predicts failure. Across GSM8K and HotpotQA, instability strength predicts wrong answers with above-chance AUC and yields monotonic bucket-level accuracy decline at scale across model sizes. Crucially, we show that instability is not uniformly harmful: early instability can reflect subsequent stabilization and a correct final answer (corrective instability), whereas late instability is more often followed by failure (destructive instability), even at comparable peak magnitudes, indicating that recoverability depends not only on how strongly the distribution changes but also on when such changes occur relative to the remaining decoding horizon. The method is model-agnostic, training-free, and reproducible, and is presented as a diagnostic lens rather than a corrective or control mechanism.