LLMs kodieren ihre Misserfolge: Vorhersage des Erfolgs anhand von Prä-Generations-Aktivierungen

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

February 10, 2026

papers.authors: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

cs.AI

papers.abstract

Das Ausführen von LLMs mit erweitertem Reasoning für jedes Problem ist kostspielig, aber die Bestimmung, welche Eingaben tatsächlich zusätzliche Rechenleistung erfordern, bleibt eine Herausforderung. Wir untersuchen, ob die eigene Wahrscheinlichkeit des Erfolgs aus ihren internen Repräsentationen vor der Generierung abgeleitet werden kann und ob dieses Signal eine effizientere Inferenz steuern kann. Wir trainieren lineare Probes auf Pre-Generation-Aktivierungen, um policiespezifischen Erfolg bei Mathematik- und Coding-Aufgaben vorherzusagen, was Oberflächenmerkmalen wie Fragelänge und TF-IDF deutlich überlegen ist. Unter Verwendung von E2H-AMC, das sowohl menschliche als auch Modellleistungen für identische Probleme liefert, zeigen wir, dass Modelle ein modellspezifisches Schwierigkeitskonzept kodieren, das sich von der menschlichen Schwierigkeit unterscheidet, und dass diese Unterscheidung mit erweitertem Reasoning zunimmt. Durch die Nutzung dieser Probes demonstrieren wir, dass die Weiterleitung von Anfragen an einen Pool von Modellen das leistungsstärkste Einzelmodell übertreffen kann, während die Inferenzkosten auf MATH um bis zu 70 % gesenkt werden. Dies zeigt, dass interne Repräsentationen praktische Effizienzgewinne ermöglichen, selbst wenn sie von menschlichen Intuitionen über Schwierigkeiten abweichen. Unser Code ist verfügbar unter: https://github.com/KabakaWilliam/llms_know_difficulty

English

Running LLMs with extended reasoning on every problem is expensive, but determining which inputs actually require additional compute remains challenging. We investigate whether their own likelihood of success is recoverable from their internal representations before generation, and if this signal can guide more efficient inference. We train linear probes on pre-generation activations to predict policy-specific success on math and coding tasks, substantially outperforming surface features such as question length and TF-IDF. Using E2H-AMC, which provides both human and model performance on identical problems, we show that models encode a model-specific notion of difficulty that is distinct from human difficulty, and that this distinction increases with extended reasoning. Leveraging these probes, we demonstrate that routing queries across a pool of models can exceed the best-performing model whilst reducing inference cost by up to 70\% on MATH, showing that internal representations enable practical efficiency gains even when they diverge from human intuitions about difficulty. Our code is available at: https://github.com/KabakaWilliam/llms_know_difficulty