A contagem como uma investigação mínima da confiabilidade de modelos de linguagem

Resumo

Os grandes modelos de linguagem apresentam desempenho sólido em benchmarks de raciocínio matemático, codificação e análise de documentos, sugerindo uma ampla capacidade de seguir instruções. No entanto, permanece incerto se tal sucesso reflete uma competência lógica geral, a aplicação repetida de procedimentos aprendidos ou uma correspondência de padrões que imita a execução de regras. Investigamos esta questão introduzindo a Capacidade de Contagem Estável, um ensaio no qual os modelos contam símbolos repetidos até a falha. O ensaio remove dependências de conhecimento, semântica e ambiguidade da avaliação, evita confusões lexicais e de tokenização, e fornece uma medida direta da confiabilidade procedural além dos benchmarks padrão baseados em conhecimento. Aqui demonstramos, através de mais de 100 variantes de modelos, que a capacidade de contagem estável permanece muito abaixo dos limites de contexto divulgados. O comportamento do modelo é consistente nem com uma lógica de livre arbítrio nem com a aplicação estável de uma regra aprendida, mas sim com o uso de um conjunto finito de estados internos semelhantes à contagem, análogo a contar nos dedos. Uma vez esgotado este recurso, a aparência de seguimento de regras desaparece e a execução exata colapsa em adivinhação, mesmo com poder computacional adicional durante o teste. Essas descobertas mostram que o desempenho fluente nos modelos de linguagem atuais não garante um seguimento de regras geral e confiável.

English

Large language models perform strongly on benchmarks in mathematical reasoning, coding and document analysis, suggesting a broad ability to follow instructions. However, it remains unclear whether such success reflects general logical competence, repeated application of learned procedures, or pattern matching that mimics rule execution. We investigate this question by introducing Stable Counting Capacity, an assay in which models count repeated symbols until failure. The assay removes knowledge dependencies, semantics and ambiguity from evaluation, avoids lexical and tokenization confounds, and provides a direct measure of procedural reliability beyond standard knowledge-based benchmarks. Here we show, across more than 100 model variants, that stable counting capacity remains far below advertised context limits. Model behavior is consistent neither with open-ended logic nor with stable application of a learned rule, but instead with use of a finite set of count-like internal states, analogous to counting on fingers. Once this resource is exhausted, the appearance of rule following disappears and exact execution collapses into guessing, even with additional test-time compute. These findings show that fluent performance in current language models does not guarantee general, reliable rule following.