LLMs Codificam Seus Fracassos: Prevendo o Sucesso a Partir de Ativações Pré-Geração

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

February 10, 2026

Autores: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

cs.AI

Resumo

Executar LLMs com raciocínio estendido em todos os problemas é dispendioso, mas determinar quais entradas realmente requerem computação adicional permanece um desafio. Investigamos se a própria probabilidade de sucesso deles é recuperável a partir de suas representações internas antes da geração, e se este sinal pode orientar uma inferência mais eficiente. Treinamos sondas lineares nas ativações pré-geração para prever o sucesso específico da política em tarefas de matemática e codificação, superando substancialmente características superficiais, como o comprimento da pergunta e TF-IDF. Usando o E2H-AMC, que fornece desempenho humano e do modelo em problemas idênticos, mostramos que os modelos codificam uma noção de dificuldade específica do modelo que é distinta da dificuldade humana, e que essa distinção aumenta com o raciocínio estendido. Aproveitando essas sondas, demonstramos que o roteamento de consultas em um conjunto de modelos pode superar o modelo de melhor desempenho, reduzindo o custo de inferência em até 70% no MATH, mostrando que as representações internas permitem ganhos práticos de eficiência, mesmo quando divergem das intuições humanas sobre dificuldade. Nosso código está disponível em: https://github.com/KabakaWilliam/llms_know_difficulty

English

Running LLMs with extended reasoning on every problem is expensive, but determining which inputs actually require additional compute remains challenging. We investigate whether their own likelihood of success is recoverable from their internal representations before generation, and if this signal can guide more efficient inference. We train linear probes on pre-generation activations to predict policy-specific success on math and coding tasks, substantially outperforming surface features such as question length and TF-IDF. Using E2H-AMC, which provides both human and model performance on identical problems, we show that models encode a model-specific notion of difficulty that is distinct from human difficulty, and that this distinction increases with extended reasoning. Leveraging these probes, we demonstrate that routing queries across a pool of models can exceed the best-performing model whilst reducing inference cost by up to 70\% on MATH, showing that internal representations enable practical efficiency gains even when they diverge from human intuitions about difficulty. Our code is available at: https://github.com/KabakaWilliam/llms_know_difficulty