Konvergente Evolution: Wie verschiedene Sprachmodelle ähnliche Zahlenrepräsentationen lernen
Convergent Evolution: How Different Language Models Learn Similar Number Representations
April 22, 2026
Autoren: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia
cs.AI
Zusammenfassung
Sprachmodelle, die mit natürlichen Texten trainiert werden, lernen, Zahlen mit periodischen Merkmalen zu repräsentieren, deren dominante Perioden bei T=2, 5, 10 liegen. In diesem Artikel identifizieren wir eine zweistufige Hierarchie dieser Merkmale: Während Transformer, lineare RNNs, LSTMs und klassische Wort-Einbettungen, die auf unterschiedliche Weise trainiert wurden, alle Merkmale erlernen, die Perioden-T-Spitzen im Fourier-Bereich aufweisen, lernen nur einige geometrisch separierbare Merkmale, die zur linearen Klassifikation einer Zahl modulo T verwendet werden können. Um diese Diskrepanz zu erklären, beweisen wir, dass Sparsity im Fourier-Bereich eine notwendige, aber keine hinreichende Bedingung für geometrische Separierbarkeit modulo T ist. Empirisch untersuchen wir, unter welchen Bedingungen das Modelltraining zu geometrisch separierbaren Merkmalen führt, und stellen fest, dass die Daten, die Architektur, der Optimierer und der Tokenizer alle eine Schlüsselrolle spielen. Insbesondere identifizieren wir zwei verschiedene Wege, auf denen Modelle geometrisch separierbare Merkmale erwerben können: Sie können sie aus komplementären Kookkurrenzsignalen in allgemeinen Sprachdaten lernen, einschließlich Text-Zahlen-Kookkurrenz und Interaktionen zwischen Zahlen, oder aus Additionsaufgaben mit mehreren (aber nicht einzelnen) Tokens. Insgesamt unterstreichen unsere Ergebnisse das Phänomen der konvergenten Evolution im Merkmalerlernen: Eine Vielzahl von Modellen lernt ähnliche Merkmale aus unterschiedlichen Trainingssignalen.
English
Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.