Конвергентная эволюция: как разные языковые модели усваивают сходные числовые представления

Convergent Evolution: How Different Language Models Learn Similar Number Representations

April 22, 2026

Авторы: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

cs.AI

Аннотация

Языковые модели, обученные на естественных текстах, учатся представлять числа с помощью периодических признаков с доминирующими периодами T=2, 5, 10. В данной статье мы выявляем двухуровневую иерархию этих признаков: хотя трансформеры, линейные RNN, LSTM и классические векторные представления слов, обученные разными способами, все изучают признаки, имеющие пики на периоде T в частотной области, лишь некоторые из них изучают геометрически разделимые признаки, которые можно использовать для линейной классификации числа по модулю T. Чтобы объяснить это несоответствие, мы доказываем, что разреженность в частотной области необходима, но недостаточна для геометрической разделимости по модулю T. Эмпирически мы исследуем, при каких условиях обучение модели приводит к геометрически разделимым признакам, и обнаруживаем, что данные, архитектура, оптимизатор и токенизатор играют ключевую роль. В частности, мы выявляем два различных пути, по которым модели могут приобретать геометрически разделимые признаки: они могут изучать их из комплементарных сигналов совместной встречаемости в общих языковых данных, включая совместную встречаемость текста и чисел и взаимодействие между числами, или из задач на сложение с множеством токенов (но не с одним токеном). В целом наши результаты подчеркивают феномен конвергентной эволюции в обучении признакам: разнообразный спектр моделей изучает схожие признаки из различных обучающих сигналов.

English

Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.