Le comptage comme sonde minimale de la fiabilité des modèles de langage

Counting as a minimal probe of language model reliability

May 3, 2026

Auteurs: Tianxiang Dai, Jonathan Fan

cs.AI

Résumé

Les grands modèles linguistiques obtiennent de bons résultats sur les benchmarks de raisonnement mathématique, de codage et d'analyse documentaire, suggérant une capacité étendue à suivre des instructions. Cependant, il reste incertain si ce succès reflète une compétence logique générale, l'application répétée de procédures apprises, ou une reconnaissance de motifs imitant l'exécution de règles. Nous étudions cette question en introduisant la Capacité de Comptage Stable, un test dans lequel les modèles comptent des symboles répétés jusqu'à l'échec. Ce test élimine les dépendances aux connaissances, la sémantique et l'ambiguïté de l'évaluation, évite les confusions lexicales et de tokenisation, et fournit une mesure directe de la fiabilité procédurale au-delà des benchmarks standards basés sur les connaissances. Nous démontrons ici, sur plus de 100 variantes de modèles, que la capacité de comptage stable reste bien en deçà des limites de contexte annoncées. Le comportement des modèles n'est cohérent ni avec une logique ouverte ni avec l'application stable d'une règle apprise, mais plutôt avec l'utilisation d'un ensemble fini d'états internes de type comptage, analogue à compter sur ses doigts. Une fois cette ressource épuisée, l'apparence de suivi de règles disparaît et l'exécution exacte se transforme en conjectures, même avec des ressources computationnelles supplémentaires lors des tests. Ces résultats montrent que les performances fluides des modèles linguistiques actuels ne garantissent pas un suivi de règles général et fiable.

English

Large language models perform strongly on benchmarks in mathematical reasoning, coding and document analysis, suggesting a broad ability to follow instructions. However, it remains unclear whether such success reflects general logical competence, repeated application of learned procedures, or pattern matching that mimics rule execution. We investigate this question by introducing Stable Counting Capacity, an assay in which models count repeated symbols until failure. The assay removes knowledge dependencies, semantics and ambiguity from evaluation, avoids lexical and tokenization confounds, and provides a direct measure of procedural reliability beyond standard knowledge-based benchmarks. Here we show, across more than 100 model variants, that stable counting capacity remains far below advertised context limits. Model behavior is consistent neither with open-ended logic nor with stable application of a learned rule, but instead with use of a finite set of count-like internal states, analogous to counting on fingers. Once this resource is exhausted, the appearance of rule following disappears and exact execution collapses into guessing, even with additional test-time compute. These findings show that fluent performance in current language models does not guarantee general, reliable rule following.