Verspilde Energie in Grote Taalmodellen

Spilled Energy in Large Language Models

February 21, 2026

Auteurs: Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

cs.AI

Samenvatting

Wij interpreteren de laatste softmax-classificator van een Large Language Model (LLM) opnieuw als een Energy-Based Model (EBM), waarbij we de sequentie-naar-sequentie waarschijnlijkheidsketen tijdens de inferentie ontbinden in meerdere interagerende EBMs. Deze principiële aanpak stelt ons in staat om "energielekkages" tijdens het decoderen te volgen, waarvan we empirisch aantonen dat ze correleren met feitelijke fouten, vooroordelen en mislukkingen. Vergelijkbaar met Orgad et al. (2025) lokaliseert onze methode eerst het exacte antwoordtoken en test vervolgens op hallucinaties. Cruciaal is echter dat wij dit bereiken zonder getrainde probe-classificatoren of activatie-ablaties nodig te hebben. In plaats daarvan introduceren we twee volledig trainingsvrije metrieken die rechtstreeks uit de output-logits worden afgeleid: *gelekte energie*, die de discrepantie vastlegt tussen energiewaarden op opeenvolgende generatiestappen die theoretisch zouden moeten overeenkomen, en *gemarginaliseerde energie*, die meetbaar is in een enkele stap. Geëvalueerd op negen benchmarks met state-of-the-art LLM's (inclusief LLaMA, Mistral en Gemma) en op synthetische algebraïsche bewerkingen (Qwen3), toont onze aanpak robuuste, competitieve hallucinatiedetectie en generalisatie over taken heen. Opmerkelijk is dat deze resultaten standhouden voor zowel vooraf getrainde als instructie-afgestemde varianten, zonder enige trainingsoverhead te introduceren. Code beschikbaar op: github.com/OmnAI-Lab/spilled-energy

English

We reinterpret the final Large Language Model (LLM) softmax classifier as an Energy-Based Model (EBM), decomposing the sequence-to-sequence probability chain into multiple interacting EBMs at inference. This principled approach allows us to track "energy spills" during decoding, which we empirically show correlate with factual errors, biases, and failures. Similar to Orgad et al. (2025), our method localizes the exact answer token and subsequently tests for hallucinations. Crucially, however, we achieve this without requiring trained probe classifiers or activation ablations. Instead, we introduce two completely training-free metrics derived directly from output logits: spilled energy, which captures the discrepancy between energy values across consecutive generation steps that should theoretically match, and marginalized energy, which is measurable at a single step. Evaluated on nine benchmarks across state-of-the-art LLMs (including LLaMA, Mistral, and Gemma) and on synthetic algebraic operations (Qwen3), our approach demonstrates robust, competitive hallucination detection and cross-task generalization. Notably, these results hold for both pretrained and instruction-tuned variants without introducing any training overhead. Code available at: github.com/OmnAI-Lab/spilled-energy