Утечка энергии в больших языковых моделях

Spilled Energy in Large Language Models

February 21, 2026

Авторы: Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

cs.AI

Аннотация

Мы переосмысливаем финальный softmax-классификатор большой языковой модели (LLM) как энергетическую модель (EBM), разлагая цепь вероятностей «последовательность-к-последовательности» на несколько взаимодействующих EBM на этапе вывода. Этот принципиальный подход позволяет отслеживать «утечки энергии» во время декодирования, которые, как мы эмпирически показываем, коррелируют с фактическими ошибками, смещениями и сбоями. Подобно Orgad et al. (2025), наш метод локализует точный токен ответа и затем проверяет его на галлюцинации. Однако ключевое отличие в том, что мы достигаем этого без необходимости в обученных пробных классификаторах или абляциях активаций. Вместо этого мы вводим две полностью свободные от обучения метрики, получаемые непосредственно из выходных логитов: *утечка энергии* (spilled energy), которая фиксирует расхождение между значениями энергии на последовательных шагах генерации, которые теоретически должны совпадать, и *маргинализованная энергия* (marginalized energy), измеримая на одном шаге. Протестированная на девяти бенчмарках для передовых LLM (включая LLaMA, Mistral и Gemma) и на синтетических алгебраических операциях (Qwen3), наша методика демонстрирует надежное и конкурентоспособное обнаружение галлюцинаций и кросс-задачную обобщаемость. Примечательно, что эти результаты справедливы как для предобученных моделей, так и для инструктивно-тонко настроенных вариантов, без введения какого-либо дополнительного обучения. Код доступен по адресу: github.com/OmnAI-Lab/spilled-energy

English

We reinterpret the final Large Language Model (LLM) softmax classifier as an Energy-Based Model (EBM), decomposing the sequence-to-sequence probability chain into multiple interacting EBMs at inference. This principled approach allows us to track "energy spills" during decoding, which we empirically show correlate with factual errors, biases, and failures. Similar to Orgad et al. (2025), our method localizes the exact answer token and subsequently tests for hallucinations. Crucially, however, we achieve this without requiring trained probe classifiers or activation ablations. Instead, we introduce two completely training-free metrics derived directly from output logits: spilled energy, which captures the discrepancy between energy values across consecutive generation steps that should theoretically match, and marginalized energy, which is measurable at a single step. Evaluated on nine benchmarks across state-of-the-art LLMs (including LLaMA, Mistral, and Gemma) and on synthetic algebraic operations (Qwen3), our approach demonstrates robust, competitive hallucination detection and cross-task generalization. Notably, these results hold for both pretrained and instruction-tuned variants without introducing any training overhead. Code available at: github.com/OmnAI-Lab/spilled-energy