Подсчет как минимальный тест надежности языковых моделей

Counting as a minimal probe of language model reliability

May 3, 2026

Авторы: Tianxiang Dai, Jonathan Fan

cs.AI

Аннотация

Крупные языковые модели демонстрируют высокие результаты на тестах по математическим рассуждениям, программированию и анализу документов, что указывает на их широкую способность следовать инструкциям. Однако остаётся неясным, отражает ли этот успех общую логическую компетентность, многократное применение заученных процедур или поиск шаблонов, имитирующий выполнение правил. Мы исследуем этот вопрос, вводя концепцию Стабильной ёмкости счёта — теста, в котором модели считают повторяющиеся символы до момента сбоя. Данный метод устраняет зависимость от знаний, семантики и неоднозначности при оценке, избегает лексических и токенизационных искажений и предоставляет прямую меру надёжности процедур, выходящую за рамки стандартных тестов на основе знаний. Здесь мы показываем на примере более 100 вариантов моделей, что стабильная ёмкость счёта остаётся значительно ниже заявленных ограничений контекста. Поведение моделей не согласуется ни с открытой логикой, ни со стабильным применением выученного правила, а скорее соответствует использованию конечного набора внутренних состояний, аналогичных счёту, — подобно счёту на пальцах. Когда этот ресурс исчерпывается, видимость следования правилам исчезает, и точное выполнение сменяется угадыванием, даже при наличии дополнительных вычислительных ресурсов во время тестирования. Эти результаты показывают, что беглость работы современных языковых моделей не гарантирует общего и надёжного следования правилам.

English

Large language models perform strongly on benchmarks in mathematical reasoning, coding and document analysis, suggesting a broad ability to follow instructions. However, it remains unclear whether such success reflects general logical competence, repeated application of learned procedures, or pattern matching that mimics rule execution. We investigate this question by introducing Stable Counting Capacity, an assay in which models count repeated symbols until failure. The assay removes knowledge dependencies, semantics and ambiguity from evaluation, avoids lexical and tokenization confounds, and provides a direct measure of procedural reliability beyond standard knowledge-based benchmarks. Here we show, across more than 100 model variants, that stable counting capacity remains far below advertised context limits. Model behavior is consistent neither with open-ended logic nor with stable application of a learned rule, but instead with use of a finite set of count-like internal states, analogous to counting on fingers. Once this resource is exhausted, the appearance of rule following disappears and exact execution collapses into guessing, even with additional test-time compute. These findings show that fluent performance in current language models does not guarantee general, reliable rule following.