Energía Disipada en los Modelos de Lenguaje a Gran Escala

Spilled Energy in Large Language Models

February 21, 2026

Autores: Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

cs.AI

Resumen

Reinterpretamos la capa softmax final del Modelo de Lenguaje Grande (LLM) como un Modelo Basado en Energía (EBM), descomponiendo la cadena de probabilidad secuencia-a-secuencia en múltiples EBMs que interactúan durante la inferencia. Este enfoque basado en principios nos permite rastrear las "fugas de energía" durante la decodificación, las cuales mostramos empíricamente que se correlacionan con errores fácticos, sesgos y fallos. De manera similar a Orgad et al. (2025), nuestro método localiza el *token* de respuesta exacto y posteriormente prueba si hay alucinaciones. Sin embargo, y esto es crucial, lo logramos sin necesidad de clasificadores *probe* entrenados o ablaciones de activaciones. En su lugar, introducimos dos métricas completamente libres de entrenamiento derivadas directamente de los *logits* de salida: la *energía fugada*, que captura la discrepancia entre los valores de energía en pasos de generación consecutivos que teóricamente deberían coincidir, y la *energía marginalizada*, que es medible en un solo paso. Evaluado en nueve *benchmarks* con modelos LLM de última generación (incluyendo LLaMA, Mistral y Gemma) y en operaciones algebraicas sintéticas (Qwen3), nuestro enfoque demuestra una detección de alucinaciones robusta y competitiva, así como una generalización transversal a tareas. Cabe destacar que estos resultados se mantienen tanto para variantes preentrenadas como ajustadas por instrucción, sin introducir ninguna sobrecarga computacional de entrenamiento. Código disponible en: github.com/OmnAI-Lab/spilled-energy

English

We reinterpret the final Large Language Model (LLM) softmax classifier as an Energy-Based Model (EBM), decomposing the sequence-to-sequence probability chain into multiple interacting EBMs at inference. This principled approach allows us to track "energy spills" during decoding, which we empirically show correlate with factual errors, biases, and failures. Similar to Orgad et al. (2025), our method localizes the exact answer token and subsequently tests for hallucinations. Crucially, however, we achieve this without requiring trained probe classifiers or activation ablations. Instead, we introduce two completely training-free metrics derived directly from output logits: spilled energy, which captures the discrepancy between energy values across consecutive generation steps that should theoretically match, and marginalized energy, which is measurable at a single step. Evaluated on nine benchmarks across state-of-the-art LLMs (including LLaMA, Mistral, and Gemma) and on synthetic algebraic operations (Qwen3), our approach demonstrates robust, competitive hallucination detection and cross-task generalization. Notably, these results hold for both pretrained and instruction-tuned variants without introducing any training overhead. Code available at: github.com/OmnAI-Lab/spilled-energy