"Forse non mi sono espresso chiaramente": diagnosticare l'instabilità dinamica nel ragionamento degli LLM durante l'inferenza
"I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time
February 2, 2026
Autori: Jinkun Chen, Fengxiang Cheng, Sijia Han, Vlado Keselj
cs.AI
Abstract
I fallaci ragionamenti nei grandi modelli linguistici (LLM) sono tipicamente misurati solo alla fine di una generazione, eppure molti errori si manifestano come un'interruzione a livello processuale: il modello "perde il filo" a metà del ragionamento. Studiamo se tali interruzioni siano rilevabili a partire da osservabili disponibili al momento dell'inferenza tramite API standard (probabilità logaritmiche dei token), senza alcun addestramento o fine-tuning. Definiamo un semplice segnale di instabilità che combina lo scostamento distribuzionale consecutivo (JSD) e l'incertezza (entropia), riassumiamo ogni traccia tramite la sua forza di instabilità di picco, e dimostriamo che questo segnale predice in modo affidabile l'errore. Su GSM8K e HotpotQA, la forza di instabilità predice risposte errate con un AUC superiore al caso e produce un declino monotono dell'accuratezza a livello di bucket su larga scala, attraverso diverse dimensioni dei modelli. Crucialmente, mostriamo che l'instabilità non è uniformemente dannosa: un'instabilità precoce può riflettere una successiva stabilizzazione e una risposta finale corretta (instabilità correttiva), mentre un'instabilità tardiva è più spesso seguita da un errore (instabilità distruttiva), anche a magnitudini di picco comparabili, indicando che la recuperabilità dipende non solo da quanto fortemente cambia la distribuzione ma anche da quando tali cambiamenti avvengono relativamente all'orizzonte di decodifica rimanente. Il metodo è indipendente dal modello, non richiede addestramento e è riproducibile, ed è presentato come una lente diagnostica piuttosto che come un meccanismo correttivo o di controllo.
English
Reasoning failures in large language models (LLMs) are typically measured only at the end of a generation, yet many failures manifest as a process-level breakdown: the model "loses the thread" mid-reasoning. We study whether such breakdowns are detectable from inference-time observables available in standard APIs (token log probabilities), without any training or fine-tuning. We define a simple instability signal that combines consecutive-step distributional shift (JSD) and uncertainty (entropy), summarize each trace by its peak instability strength, and show that this signal reliably predicts failure. Across GSM8K and HotpotQA, instability strength predicts wrong answers with above-chance AUC and yields monotonic bucket-level accuracy decline at scale across model sizes. Crucially, we show that instability is not uniformly harmful: early instability can reflect subsequent stabilization and a correct final answer (corrective instability), whereas late instability is more often followed by failure (destructive instability), even at comparable peak magnitudes, indicating that recoverability depends not only on how strongly the distribution changes but also on when such changes occur relative to the remaining decoding horizon. The method is model-agnostic, training-free, and reproducible, and is presented as a diagnostic lens rather than a corrective or control mechanism.