Могут ли большие языковые модели предсказывать собственные ошибки? Самосознание через внутренние схемы
Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits
December 23, 2025
Авторы: Amirhosein Ghasemabadi, Di Niu
cs.AI
Аннотация
Крупные языковые модели (LLM) генерируют беглые и сложные результаты, но часто не способны распознать собственные ошибки и галлюцинации. Существующие подходы обычно полагаются на внешние оценки, согласованность множественных выборок или текстовую самокритику, что требует дополнительных вычислений или слабо коррелирует с истинной правильностью. Мы задаемся вопросом: могут ли LLM предсказывать собственные сбои, анализируя внутренние состояния в процессе вывода? Мы представляем Gnosis — легковесный механизм самосознания, который позволяет замороженным LLM выполнять внутреннюю самопроверку путем декодирования сигналов из скрытых состояний и паттернов внимания. Gnosis пассивно наблюдает внутренние следы, сжимает их в дескрипторы с фиксированным бюджетом и предсказывает правильность с пренебрежимо малыми вычислительными затратами, добавляя всего ~5M параметров и работая независимо от длины последовательности. В задачах математических рассуждений, открытых вопросно-ответных систем и академических тестов на знания, на замороженных архитектурах от 1.7B до 20B параметров, Gnosis последовательно превосходит сильные внутренние базовые линии и крупные внешние системы оценки как по точности, так и по калибровке. Более того, метод обобщается zero-shot на частичные генерации, позволяя осуществлять раннее обнаружение ошибочных траекторий и вычислятельно-осознанное управление. Эти результаты демонстрируют, что надежные сигналы правильности имманентно присущи процессу генерации и могут быть эффективно извлечены без внешнего контроля.
English
Large language models (LLMs) generate fluent and complex outputs but often fail to recognize their own mistakes and hallucinations. Existing approaches typically rely on external judges, multi-sample consistency, or text-based self-critique, which incur additional compute or correlate weakly with true correctness. We ask: can LLMs predict their own failures by inspecting internal states during inference? We introduce Gnosis, a lightweight self-awareness mechanism that enables frozen LLMs to perform intrinsic self-verification by decoding signals from hidden states and attention patterns. Gnosis passively observes internal traces, compresses them into fixed-budget descriptors, and predicts correctness with negligible inference cost, adding only ~5M parameters and operating independently of sequence length. Across math reasoning, open-domain question answering, and academic knowledge benchmarks, and over frozen backbones ranging from 1.7B to 20B parameters, Gnosis consistently outperforms strong internal baselines and large external judges in both accuracy and calibration. Moreover, it generalizes zero-shot to partial generations, enabling early detection of failing trajectories and compute-aware control. These results show that reliable correctness cues are intrinsic to generation process and can be extracted efficiently without external supervision.