"Puede que no me haya expresado con claridad": Diagnóstico de la inestabilidad dinámica en el razonamiento de modelos de lenguaje grandes durante la inferencia

"I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time

February 2, 2026

Autores: Jinkun Chen, Fengxiang Cheng, Sijia Han, Vlado Keselj

cs.AI

Resumen

Las fallas de razonamiento en los modelos de lenguaje grandes (LLMs) generalmente se miden solo al final de una generación, sin embargo, muchas fallas se manifiestan como una ruptura a nivel del proceso: el modelo "pierde el hilo" a mitad del razonamiento. Estudiamos si tales rupturas son detectables a partir de observables disponibles en tiempo de inferencia en las API estándar (probabilidades logarítmicas de los tokens), sin necesidad de entrenamiento o ajuste fino. Definimos una señal de inestabilidad simple que combina el cambio distribucional en pasos consecutivos (JSD) y la incertidumbre (entropía), resumimos cada traza por su fuerza de inestabilidad máxima, y demostramos que esta señal predice las fallas de manera confiable. En GSM8K y HotpotQA, la fuerza de inestabilidad predice respuestas incorrectas con un AUC superior al azar y produce una disminución monótona y a gran escala de la precisión por niveles de agrupación ('bucket-level') en todos los tamaños de modelos. Crucialmente, demostramos que la inestabilidad no es uniformemente perjudicial: la inestabilidad temprana puede reflejar una posterior estabilización y una respuesta final correcta (inestabilidad correctiva), mientras que la inestabilidad tardía es más frecuentemente seguida por una falla (inestabilidad destructiva), incluso con magnitudes máximas comparables, lo que indica que la recuperabilidad depende no solo de cuán fuertemente cambia la distribución, sino también de cuándo ocurren tales cambios en relación con el horizonte de decodificación restante. El método es independiente del modelo, libre de entrenamiento y reproducible, y se presenta como una lente de diagnóstico en lugar de un mecanismo correctivo o de control.

English

Reasoning failures in large language models (LLMs) are typically measured only at the end of a generation, yet many failures manifest as a process-level breakdown: the model "loses the thread" mid-reasoning. We study whether such breakdowns are detectable from inference-time observables available in standard APIs (token log probabilities), without any training or fine-tuning. We define a simple instability signal that combines consecutive-step distributional shift (JSD) and uncertainty (entropy), summarize each trace by its peak instability strength, and show that this signal reliably predicts failure. Across GSM8K and HotpotQA, instability strength predicts wrong answers with above-chance AUC and yields monotonic bucket-level accuracy decline at scale across model sizes. Crucially, we show that instability is not uniformly harmful: early instability can reflect subsequent stabilization and a correct final answer (corrective instability), whereas late instability is more often followed by failure (destructive instability), even at comparable peak magnitudes, indicating that recoverability depends not only on how strongly the distribution changes but also on when such changes occur relative to the remaining decoding horizon. The method is model-agnostic, training-free, and reproducible, and is presented as a diagnostic lens rather than a corrective or control mechanism.