Evoluzione Convergente: Come Modelli Linguistici Diversi Apprendono Rappresentazioni Numeriche Simili

Convergent Evolution: How Different Language Models Learn Similar Number Representations

April 22, 2026

Autori: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

cs.AI

Abstract

I modelli linguistici addestrati su testo naturale apprendono a rappresentare i numeri utilizzando caratteristiche periodiche con periodi dominanti a T=2, 5, 10. In questo articolo, identifichiamo una gerarchia a due livelli di queste caratteristiche: sebbene i Transformer, le RNN lineari, le LSTM e gli embedding di parole classici addestrati in modi diversi apprendano tutti caratteristiche che presentano picchi di periodo-T nel dominio di Fourier, solo alcuni apprendono caratteristiche geometricamente separabili che possono essere utilizzate per classificare linearmente un numero mod-T. Per spiegare questa incongruenza, dimostriamo che la sparsità nel dominio di Fourier è necessaria ma non sufficiente per la separabilità geometrica mod-T. Empiricamente, indaghiamo quando l'addestramento del modello produce caratteristiche geometricamente separabili, riscontrando che i dati, l'architettura, l'ottimizzatore e il tokenizzatore svolgono tutti ruoli chiave. In particolare, identifichiamo due diverse strade attraverso le quali i modelli possono acquisire caratteristiche geometricamente separabili: possono apprenderle da segnali di co-occorrenza complementari nei dati linguistici generici, inclusa la co-occorrenza testo-numero e l'interazione tra numeri, o da problemi di addizione multi-token (ma non single-token). Nel complesso, i nostri risultati evidenziano il fenomeno dell'evoluzione convergente nell'apprendimento delle caratteristiche: un'ampia gamma di modelli apprende caratteristiche simili da diversi segnali di addestramento.

English

Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.