Präzise Einzel-Token-Zahlen-Einbettungen über Fourier-Merkmale

FoNE: Precise Single-Token Number Embeddings via Fourier Features

February 13, 2025

Autoren: Tianyi Zhou, Deqing Fu, Mahdi Soltanolkotabi, Robin Jia, Vatsal Sharan

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) stellen Zahlen in der Regel mit mehreren Tokens dar, was erfordert, dass das Modell diese Tokens aggregiert, um numerische Werte zu interpretieren. Diese Fragmentierung macht sowohl das Training als auch die Inferenz weniger effizient und beeinträchtigt die Leistung des Modells bei zahlenbezogenen Aufgaben negativ. Inspiriert von der Beobachtung, dass vorab trainierte LLMs intern Fourier-ähnliche Merkmale für Zahlentokens erlernen, schlagen wir Fourier Number Embedding (FoNE) vor, eine neuartige Methode, die Zahlen direkt in den Einbettungsraum mit ihren Fourier-Merkmalen abbildet. FoNE kodiert jede Zahl als ein einziges Token mit nur zwei Einbettungsdimensionen pro Ziffer und erfasst so numerische Werte effektiv ohne Fragmentierung. Diese kompakte Darstellung beschleunigt sowohl das Training als auch die Inferenz. Im Vergleich zu traditionellen Subword- und Ziffer-förmigen Einbettungen reduziert FoNE nicht nur den Rechenaufwand, sondern erzielt auch eine höhere Genauigkeit bei verschiedenen numerischen Aufgaben wie Addition, Subtraktion und Multiplikation. Bei der Addition von Dezimalzahlen mit 6 Stellen benötigt FoNE 64-mal weniger Daten, um eine Genauigkeit von 99% zu erreichen als subword- und ziffernförmige Einbettungen, während pro Zahl jeweils 3-mal und 6-mal weniger Tokens verwendet werden. Darüber hinaus ist FoNE die einzige Methode, die bei über 100.000 Testbeispielen für Addition, Subtraktion und Multiplikation eine Genauigkeit von 100% erzielt. Die Codes und Visualisierungen sind verfügbar unter https://fouriernumber.github.io/.

English

Large Language Models (LLMs) typically represent numbers using multiple tokens, which requires the model to aggregate these tokens to interpret numerical values. This fragmentation makes both training and inference less efficient and adversely affects the model's performance on number-related tasks. Inspired by the observation that pre-trained LLMs internally learn Fourier-like features for number tokens, we propose Fourier Number Embedding (FoNE), a novel method that directly maps numbers into the embedding space with their Fourier features. FoNE encodes each number as a single token with only two embedding dimensions per digit, effectively capturing numerical values without fragmentation. This compact representation accelerates both training and inference. Compared to traditional subword and digit-wise embeddings, FoNE not only reduces computational overhead but also achieves higher accuracy across various numerical tasks including addition, subtraction and multiplication. On 6-digit decimal addition, FoNE requires 64times less data to achieve 99% accuracy than subword and digit-wise embeddings while using 3times and 6times fewer tokens per number, respectively. Furthermore, FoNE is the only method that yields 100% accuracy on over 100,000 test examples for addition, subtraction, and multiplication. The codes and visualization are available at https://fouriernumber.github.io/.