¿Pueden los LLM Predecir sus Propios Fallos? Autoconciencia a través de Circuitos Internos

Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

December 23, 2025

Autores: Amirhosein Ghasemabadi, Di Niu

cs.AI

Resumen

Los grandes modelos de lenguaje (LLM) generan resultados fluidos y complejos, pero a menudo no logran reconocer sus propios errores y alucinaciones. Los enfoques existentes generalmente dependen de evaluadores externos, consistencia multi-muestra o autocrítica basada en texto, lo que incurre en costos computacionales adicionales o se correlaciona débilmente con la corrección real. Nos preguntamos: ¿pueden los LLM predecir sus propios fallos inspeccionando sus estados internos durante la inferencia? Presentamos Gnosis, un mecanismo ligero de autoconciencia que permite a los LLM congelados realizar una autoverificación intrínseca decodificando señales de sus estados ocultos y patrones de atención. Gnosis observa pasivamente las trazas internas, las comprime en descriptores de presupuesto fijo y predice la corrección con un coste de inferencia negligible, añadiendo solo ~5M de parámetros y operando independientemente de la longitud de la secuencia. En benchmarks de razonamiento matemático, preguntas de dominio abierto y conocimiento académico, y sobre arquitecturas congeladas que van desde 1.7B hasta 20B de parámetros, Gnosis supera consistentemente a sólidos baselines internos y a grandes evaluadores externos tanto en precisión como en calibración. Además, generaliza zero-shot a generaciones parciales, permitiendo la detección temprana de trayectorias fallidas y un control consciente del coste computacional. Estos resultados demuestran que las señales fiables de corrección son intrínsecas al proceso de generación y pueden extraerse eficientemente sin supervisión externa.

English

Large language models (LLMs) generate fluent and complex outputs but often fail to recognize their own mistakes and hallucinations. Existing approaches typically rely on external judges, multi-sample consistency, or text-based self-critique, which incur additional compute or correlate weakly with true correctness. We ask: can LLMs predict their own failures by inspecting internal states during inference? We introduce Gnosis, a lightweight self-awareness mechanism that enables frozen LLMs to perform intrinsic self-verification by decoding signals from hidden states and attention patterns. Gnosis passively observes internal traces, compresses them into fixed-budget descriptors, and predicts correctness with negligible inference cost, adding only ~5M parameters and operating independently of sequence length. Across math reasoning, open-domain question answering, and academic knowledge benchmarks, and over frozen backbones ranging from 1.7B to 20B parameters, Gnosis consistently outperforms strong internal baselines and large external judges in both accuracy and calibration. Moreover, it generalizes zero-shot to partial generations, enabling early detection of failing trajectories and compute-aware control. These results show that reliable correctness cues are intrinsic to generation process and can be extracted efficiently without external supervision.