Evolución Convergente: Cómo Diferentes Modelos de Lenguaje Aprenden Representaciones Numéricas Similares
Convergent Evolution: How Different Language Models Learn Similar Number Representations
April 22, 2026
Autores: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia
cs.AI
Resumen
Los modelos de lenguaje entrenados con texto natural aprenden a representar números utilizando características periódicas con períodos dominantes en T=2, 5, 10. En este artículo, identificamos una jerarquía de dos niveles en estas características: si bien los Transformers, las RNN lineales, las LSTMs y los embeddings de palabras clásicos entrenados de diferentes maneras aprenden características que presentan picos de período-T en el dominio de Fourier, solo algunos aprenden características geométricamente separables que pueden utilizarse para clasificar linealmente un número módulo-T. Para explicar esta incongruencia, demostramos que la escasez en el dominio de Fourier es necesaria pero no suficiente para la separabilidad geométrica módulo-T. Empíricamente, investigamos cuándo el entrenamiento del modelo produce características geométricamente separables, encontrando que los datos, la arquitectura, el optimizador y el tokenizador juegan roles clave. En particular, identificamos dos rutas diferentes a través de las cuales los modelos pueden adquirir características geométricamente separables: pueden aprenderlas a partir de señales de co-ocurrencia complementaria en datos de lenguaje general, incluyendo la co-ocurrencia texto-número y la interacción entre números, o a partir de problemas de suma de múltiples tokens (pero no de un solo token). En general, nuestros resultados destacan el fenómeno de la evolución convergente en el aprendizaje de características: una amplia gama de modelos aprende características similares a partir de diferentes señales de entrenamiento.
English
Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.