Los LLM Codifican Sus Fallos: Predicción del Éxito a Partir de las Activaciones Previas a la Generación

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

February 10, 2026

Autores: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

cs.AI

Resumen

Ejecutar LLMs con razonamiento extendido en cada problema es costoso, pero determinar qué entradas realmente requieren capacidad de cálculo adicional sigue siendo un desafío. Investigamos si la propia probabilidad de éxito del modelo es recuperable a partir de sus representaciones internas antes de la generación, y si esta señal puede guiar una inferencia más eficiente. Entrenamos sondas lineales sobre las activaciones pre-generación para predecir el éxito específico de la política en tareas de matemáticas y codificación, superando sustancialmente a características superficiales como la longitud de la pregunta y TF-IDF. Utilizando E2H-AMC, que proporciona rendimiento tanto humano como del modelo en problemas idénticos, mostramos que los modelos codifican una noción de dificultad específica del modelo que es distinta de la dificultad humana, y que esta distinción aumenta con el razonamiento extendido. Aprovechando estas sondas, demostramos que enrutar consultas a través de un grupo de modelos puede superar al modelo de mejor rendimiento mientras se reduce el costo de inferencia hasta en un 70% en MATH, mostrando que las representaciones internas permiten ganancias prácticas de eficiencia incluso cuando divergen de las intuiciones humanas sobre la dificultad. Nuestro código está disponible en: https://github.com/KabakaWilliam/llms_know_difficulty

English

Running LLMs with extended reasoning on every problem is expensive, but determining which inputs actually require additional compute remains challenging. We investigate whether their own likelihood of success is recoverable from their internal representations before generation, and if this signal can guide more efficient inference. We train linear probes on pre-generation activations to predict policy-specific success on math and coding tasks, substantially outperforming surface features such as question length and TF-IDF. Using E2H-AMC, which provides both human and model performance on identical problems, we show that models encode a model-specific notion of difficulty that is distinct from human difficulty, and that this distinction increases with extended reasoning. Leveraging these probes, we demonstrate that routing queries across a pool of models can exceed the best-performing model whilst reducing inference cost by up to 70\% on MATH, showing that internal representations enable practical efficiency gains even when they diverge from human intuitions about difficulty. Our code is available at: https://github.com/KabakaWilliam/llms_know_difficulty