Крупные языковые модели кодируют свои ошибки: прогнозирование успеха по предгенерационным активациям

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

February 10, 2026

Авторы: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

cs.AI

Аннотация

Запуск больших языковых моделей (LLM) с расширенными рассуждениями для каждой задачи является дорогостоящим, однако определение того, какие входные данные действительно требуют дополнительных вычислительных ресурсов, остается сложной задачей. Мы исследуем, можно ли определить их собственную вероятность успеха на основе внутренних представлений до генерации ответа, и может ли этот сигнал направлять более эффективный вывод. Мы обучаем линейные пробы на активациях, полученных до генерации, чтобы предсказывать успех, специфичный для политики модели, в математических задачах и задачах по программированию. Этот подход существенно превосходит поверхностные признаки, такие как длина вопроса и TF-IDF. Используя набор данных E2H-AMC, который предоставляет данные о производительности как человека, так и модели на идентичных задачах, мы показываем, что модели кодируют специфичное для модели представление о сложности, которое отличается от человеческого восприятия трудности, и что это различие усиливается при использовании расширенных рассуждений. Используя эти пробы, мы демонстрируем, что маршрутизация запросов между пулом моделей может превзойти производительность лучшей отдельной модели, одновременно сокращая стоимость вывода до 70% на наборе данных MATH. Это показывает, что внутренние представления позволяют достичь практического повышения эффективности, даже когда они расходятся с человеческими интуициями о сложности. Наш код доступен по адресу: https://github.com/KabakaWilliam/llms_know_difficulty.

English

Running LLMs with extended reasoning on every problem is expensive, but determining which inputs actually require additional compute remains challenging. We investigate whether their own likelihood of success is recoverable from their internal representations before generation, and if this signal can guide more efficient inference. We train linear probes on pre-generation activations to predict policy-specific success on math and coding tasks, substantially outperforming surface features such as question length and TF-IDF. Using E2H-AMC, which provides both human and model performance on identical problems, we show that models encode a model-specific notion of difficulty that is distinct from human difficulty, and that this distinction increases with extended reasoning. Leveraging these probes, we demonstrate that routing queries across a pool of models can exceed the best-performing model whilst reducing inference cost by up to 70\% on MATH, showing that internal representations enable practical efficiency gains even when they diverge from human intuitions about difficulty. Our code is available at: https://github.com/KabakaWilliam/llms_know_difficulty