Évolution convergente : comment les modèles de langage différents apprennent des représentations numériques similaires
Convergent Evolution: How Different Language Models Learn Similar Number Representations
April 22, 2026
Auteurs: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia
cs.AI
Résumé
Les modèles de langage entraînés sur du texte naturel apprennent à représenter les nombres à l'aide de caractéristiques périodiques dont les périodes dominantes sont T=2, 5, 10. Dans cet article, nous identifions une hiérarchie à deux niveaux de ces caractéristiques : bien que les Transformers, les RNN linéaires, les LSTMs et les plongements lexicaux classiques, entraînés de différentes manières, apprennent tous des caractéristiques présentant des pics de période T dans le domaine de Fourier, seuls certains apprennent des caractéristiques géométriquement séparables qui peuvent être utilisées pour classer linéairement un nombre modulo T. Pour expliquer cette incongruence, nous prouvons que la parcimonie dans le domaine de Fourier est nécessaire mais non suffisante pour la séparabilité géométrique modulo T. Empiriquement, nous étudions quand l'entraînement du modèle produit des caractéristiques géométriquement séparables, et constatons que les données, l'architecture, l'optimiseur et le tokeniseur jouent tous des rôles clés. En particulier, nous identifions deux voies différentes par lesquelles les modèles peuvent acquérir des caractéristiques géométriquement séparables : ils peuvent les apprendre à partir de signaux de co-occurrence complémentaires dans les données linguistiques générales, incluant la co-occurrence texte-nombre et l'interaction entre nombres, ou à partir de problèmes d'addition multi-jetons (mais pas à jeton unique). Globalement, nos résultats mettent en lumière le phénomène d'évolution convergente dans l'apprentissage de caractéristiques : une diversité de modèles apprennent des caractéristiques similaires à partir de signaux d'entraînement différents.
English
Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.