収束進化：異なる言語モデルが類似した数値表現をどのように学習するか

要旨

自然言語テキストで学習された言語モデルは、T=2、5、10を主要周期とする周期的特徴量を用いて数値を表現することを学習する。本論文では、これらの特徴量に二段階の階層が存在することを明らかにする。Transformer、線形RNN、LSTM、および様々な方法で学習された古典的な単語埋め込みはすべて、フーリエ領域において周期Tのスパイクを持つ特徴量を学習するが、数値のmod-Tを線形分類可能な幾何学的に分離可能な特徴量を学習するモデルは一部に限られる。この不一致を説明するため、我々はフーリエ領域のスパース性がmod-Tの幾何学的分離可能性にとって必要であるが十分ではないことを証明する。実証的には、モデル学習が幾何学的に分離可能な特徴量を生み出す条件を調査し、データ、アーキテクチャ、オプティマイザ、トークナイザのすべてが重要な役割を果たすことを明らかにする。特に、モデルが幾何学的に分離可能な特徴量を獲得する二つの経路を特定した：一般言語データにおける補完的共起信号（テキストと数値の共起、数値間の相互作用を含む）から学習する場合と、複数トークン（ただし単一トークンではない）の加算問題から学習する場合である。全体として、我々の結果は特徴量学習における収束進化の現象を浮き彫りにする：多様なモデルが異なる学習信号から類似した特徴量を学習するのである。

English

Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two different routes through which models can acquire geometrically separable features: they can learn them from complementary co-occurrence signals in general language data, including text-number co-occurrence and cross-number interaction, or from multi-token (but not single-token) addition problems. Overall, our results highlight the phenomenon of convergent evolution in feature learning: A diverse range of models learn similar features from different training signals.

収束進化：異なる言語モデルが類似した数値表現をどのように学習するか

Convergent Evolution: How Different Language Models Learn Similar Number Representations

要旨

Support