Evolução Convergente: Como Diferentes Modelos de Linguagem Aprendem Representações Numéricas Semelhantes

Convergent Evolution: How Different Language Models Learn Similar Number Representations

April 22, 2026

Autores: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

cs.AI

Resumo

Modelos de linguagem treinados em texto natural aprendem a representar números utilizando características periódicas com períodos dominantes em T=2, 5, 10. Neste artigo, identificamos uma hierarquia de dois níveis dessas características: embora Transformers, RNNs Lineares, LSTMs e *embeddings* de palavras clássicos treinados de diferentes maneiras aprendam características que apresentam picos de período-T no domínio de Fourier, apenas alguns aprendem características geometricamente separáveis que podem ser usadas para classificar linearmente um número módulo-T. Para explicar esta incongruência, provamos que a esparsidade no domínio de Fourier é necessária, mas não suficiente, para a separabilidade geométrica módulo-T. Empiricamente, investigamos quando o treinamento do modelo produz características geometricamente separáveis, constatando que os dados, a arquitetura, o otimizador e o *tokenizer* desempenham papéis fundamentais. Em particular, identificamos duas rotas diferentes pelas quais os modelos podem adquirir características geometricamente separáveis: eles podem aprendê-las a partir de sinais de coocorrência complementares em dados de linguagem geral, incluindo a coocorrência texto-número e a interação entre números, ou a partir de problemas de adição com múltiplos *tokens* (mas não com um único *token*). No geral, nossos resultados destacam o fenômeno da evolução convergente na aprendizagem de características: uma ampla gama de modelos aprende características semelhantes a partir de diferentes sinais de treinamento.

English

Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.