Zählen als minimaler Test für die Zuverlässigkeit von Sprachmodellen
Counting as a minimal probe of language model reliability
May 3, 2026
Autoren: Tianxiang Dai, Jonathan Fan
cs.AI
Zusammenfassung
Große Sprachmodelle erzielen auf Benchmarks in den Bereichen mathematisches Denken, Programmierung und Dokumentenanalyse starke Ergebnisse, was auf eine breite Fähigkeit zur Befolgung von Anweisungen hindeutet. Es bleibt jedoch unklar, ob dieser Erfolg allgemeine logische Kompetenz, wiederholte Anwendung erlernter Prozeduren oder Musterabgleich, der Regelausführung nachahmt, widerspiegelt. Wir untersuchen diese Frage durch die Einführung der Stablen Zählkapazität, eines Tests, bei dem Modelle wiederholte Symbole bis zum Scheitern zählen. Der Test entfernt Wissensabhängigkeiten, Semantik und Mehrdeutigkeit aus der Evaluation, vermeidet lexikalische und Tokenisierungs-Probleme und bietet ein direktes Maß für prozedurale Zuverlässigkeit über standardisierte wissensbasierte Benchmarks hinaus. Hier zeigen wir über mehr als 100 Modellvarianten hinweg, dass die stabile Zählkapazität weit unter den beworbenen Kontextgrenzen bleibt. Das Modellverhalten ist weder mit offener Logik noch mit der stabilen Anwendung einer erlernten Regel konsistent, sondern stattdessen mit der Nutzung einer begrenzten Menge von zählähnlichen internen Zuständen, analog zum Zählen mit den Fingern. Sobald diese Ressource erschöpft ist, verschwindet der Anschein von Regelbefolgung und die exakte Ausführung bricht in Raten zusammen, selbst bei zusätzlicher Rechenleistung während des Tests. Diese Ergebnisse zeigen, dass flüssige Leistungen in aktuellen Sprachmodellen keine allgemeine, zuverlässige Regelbefolgung garantieren.
English
Large language models perform strongly on benchmarks in mathematical reasoning, coding and document analysis, suggesting a broad ability to follow instructions. However, it remains unclear whether such success reflects general logical competence, repeated application of learned procedures, or pattern matching that mimics rule execution. We investigate this question by introducing Stable Counting Capacity, an assay in which models count repeated symbols until failure. The assay removes knowledge dependencies, semantics and ambiguity from evaluation, avoids lexical and tokenization confounds, and provides a direct measure of procedural reliability beyond standard knowledge-based benchmarks. Here we show, across more than 100 model variants, that stable counting capacity remains far below advertised context limits. Model behavior is consistent neither with open-ended logic nor with stable application of a learned rule, but instead with use of a finite set of count-like internal states, analogous to counting on fingers. Once this resource is exhausted, the appearance of rule following disappears and exact execution collapses into guessing, even with additional test-time compute. These findings show that fluent performance in current language models does not guarantee general, reliable rule following.