LLM's coderen hun mislukkingen: succes voorspellen aan de hand van pre-generatie-activaties

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

February 10, 2026

Auteurs: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

cs.AI

Samenvatting

Het uitvoeren van LLM's met uitgebreide redeneercapaciteiten voor elk probleem is kostbaar, maar het blijft een uitdaging om te bepalen welke invoer daadwerkelijk extra rekenkracht vereist. Wij onderzoeken of de eigen waarschijnlijkheid van succes kan worden afgeleid uit hun interne representaties vóór generatie, en of dit signaal kan worden gebruikt om efficiëntere inferentie te sturen. We trainen lineaire probes op pre-generatie-activaties om modelspecifiek succes te voorspellen bij wiskunde- en codeertaken, wat aanzienlijk beter presteert dan oppervlakkige kenmerken zoals vraag lengte en TF-IDF. Met behulp van E2H-AMC, dat zowel menselijke als modelprestaties op identieke problemen biedt, tonen we aan dat modellen een modelspecifiek moeilijkheidsbegrip coderen dat verschilt van menselijke moeilijkheid, en dat dit onderscheid toeneemt bij uitgebreid redeneren. Door gebruik te maken van deze probes demonstreren we dat het routeren van queries over een pool van modellen het beste presterende model kan overtreffen, terwijl de inferentiekosten op MATH met tot 70% worden verminderd. Dit toont aan dat interne representaties praktische efficiëntiewinsten mogelijk maken, zelfs wanneer ze afwijken van menselijke intuïties over moeilijkheid. Onze code is beschikbaar op: https://github.com/KabakaWilliam/llms_know_difficulty

English

Running LLMs with extended reasoning on every problem is expensive, but determining which inputs actually require additional compute remains challenging. We investigate whether their own likelihood of success is recoverable from their internal representations before generation, and if this signal can guide more efficient inference. We train linear probes on pre-generation activations to predict policy-specific success on math and coding tasks, substantially outperforming surface features such as question length and TF-IDF. Using E2H-AMC, which provides both human and model performance on identical problems, we show that models encode a model-specific notion of difficulty that is distinct from human difficulty, and that this distinction increases with extended reasoning. Leveraging these probes, we demonstrate that routing queries across a pool of models can exceed the best-performing model whilst reducing inference cost by up to 70\% on MATH, showing that internal representations enable practical efficiency gains even when they diverge from human intuitions about difficulty. Our code is available at: https://github.com/KabakaWilliam/llms_know_difficulty