Energia Desperdiçada em Modelos de Linguagem de Grande Escala

Spilled Energy in Large Language Models

February 21, 2026

Autores: Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

cs.AI

Resumo

Reinterpretamos o classificador softmax final do Modelo de Linguagem de Grande Porte (LLM) como um Modelo Baseado em Energia (EBM), decompondo a cadeia de probabilidade sequência-para-sequência em múltiplos EBMs interagentes durante a inferência. Esta abordagem fundamentada permite-nos rastrear "derramamentos de energia" durante a descodificação, que empiricamente demonstramos correlacionarem-se com erros factuais, vieses e falhas. Semelhante a Orgad et al. (2025), o nosso método localiza o token de resposta exato e subsequentemente testa alucinações. Crucialmente, porém, alcançamos isto sem exigir classificadores de sonda treinados ou ablações de ativação. Em vez disso, introduzimos duas métricas completamente livres de treino, derivadas diretamente dos logits de saída: a energia derramada, que capta a discrepância entre os valores de energia em passos de geração consecutivos que teoricamente deveriam coincidir, e a energia marginalizada, que é mensurável num único passo. Avaliado em nove benchmarks abrangendo LLMs state-of-the-art (incluindo LLaMA, Mistral e Gemma) e em operações algébricas sintéticas (Qwen3), a nossa abordagem demonstra deteção robusta e competitiva de alucinações e generalização cruzada de tarefas. Notavelmente, estes resultados mantêm-se tanto para variantes pré-treinadas como para variantes ajustadas por instrução, sem introduzir qualquer sobrecarga de treino. Código disponível em: github.com/OmnAI-Lab/spilled-energy

English

We reinterpret the final Large Language Model (LLM) softmax classifier as an Energy-Based Model (EBM), decomposing the sequence-to-sequence probability chain into multiple interacting EBMs at inference. This principled approach allows us to track "energy spills" during decoding, which we empirically show correlate with factual errors, biases, and failures. Similar to Orgad et al. (2025), our method localizes the exact answer token and subsequently tests for hallucinations. Crucially, however, we achieve this without requiring trained probe classifiers or activation ablations. Instead, we introduce two completely training-free metrics derived directly from output logits: spilled energy, which captures the discrepancy between energy values across consecutive generation steps that should theoretically match, and marginalized energy, which is measurable at a single step. Evaluated on nine benchmarks across state-of-the-art LLMs (including LLaMA, Mistral, and Gemma) and on synthetic algebraic operations (Qwen3), our approach demonstrates robust, competitive hallucination detection and cross-task generalization. Notably, these results hold for both pretrained and instruction-tuned variants without introducing any training overhead. Code available at: github.com/OmnAI-Lab/spilled-energy