Os LLMs Podem Prever Suas Próprias Falhas? Autoconsciência por Meio de Circuitos Internos

Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

December 23, 2025

Autores: Amirhosein Ghasemabadi, Di Niu

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) geram saídas fluidas e complexas, mas frequentemente falham em reconhecer seus próprios erros e alucinações. As abordagens existentes geralmente dependem de juízes externos, consistência multi-amostra ou autocrítica baseada em texto, que incorrem em custos computacionais adicionais ou possuem correlação fraca com a correção real. Nós questionamos: os LLMs podem prever suas próprias falhas ao inspecionar estados internos durante a inferência? Apresentamos a Gnosis, um mecanismo leve de autoconsciência que permite que LLMs congelados realizem autoverificação intrínseca ao decodificar sinais de estados ocultos e padrões de atenção. A Gnosis observa passivamente os traços internos, comprime-os em descritores de orçamento fixo e prevê a correção com custo de inferência negligenciável, adicionando apenas ~5M de parâmetros e operando independentemente do comprimento da sequência. Em benchmarks de raciocínio matemático, questionamento de domínio aberto e conhecimento acadêmico, e em backbones congelados variando de 1.7B a 20B de parâmetros, a Gnosis supera consistentemente baselines internos robustos e grandes juízes externos tanto em precisão quanto em calibração. Além disso, ela generaliza zero-shot para gerações parciais, permitindo a detecção precoce de trajetórias com falha e controle consciente do custo computacional. Esses resultados mostram que pistas confiáveis de correção são intrínsecas ao processo de geração e podem ser extraídas eficientemente sem supervisão externa.

English

Large language models (LLMs) generate fluent and complex outputs but often fail to recognize their own mistakes and hallucinations. Existing approaches typically rely on external judges, multi-sample consistency, or text-based self-critique, which incur additional compute or correlate weakly with true correctness. We ask: can LLMs predict their own failures by inspecting internal states during inference? We introduce Gnosis, a lightweight self-awareness mechanism that enables frozen LLMs to perform intrinsic self-verification by decoding signals from hidden states and attention patterns. Gnosis passively observes internal traces, compresses them into fixed-budget descriptors, and predicts correctness with negligible inference cost, adding only ~5M parameters and operating independently of sequence length. Across math reasoning, open-domain question answering, and academic knowledge benchmarks, and over frozen backbones ranging from 1.7B to 20B parameters, Gnosis consistently outperforms strong internal baselines and large external judges in both accuracy and calibration. Moreover, it generalizes zero-shot to partial generations, enabling early detection of failing trajectories and compute-aware control. These results show that reliable correctness cues are intrinsic to generation process and can be extracted efficiently without external supervision.