FoNE: Nauwkeurige enkelvoudige-token getal-embeddings via Fourier-functies

FoNE: Precise Single-Token Number Embeddings via Fourier Features

February 13, 2025

Auteurs: Tianyi Zhou, Deqing Fu, Mahdi Soltanolkotabi, Robin Jia, Vatsal Sharan

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) representeren getallen doorgaans met behulp van meerdere tokens, waardoor het model deze tokens moet aggregeren om numerieke waarden te interpreteren. Deze fragmentatie maakt zowel training als inferentie minder efficiënt en heeft een negatieve invloed op de prestaties van het model bij taken die met getallen te maken hebben. Geïnspireerd door de observatie dat vooraf getrainde LLMs intern Fourier-achtige kenmerken voor getaltokens leren, stellen we Fourier Number Embedding (FoNE) voor, een nieuwe methode die getallen direct in de embeddingruimte afbeeldt met hun Fourier-kenmerken. FoNE codeert elk getal als een enkel token met slechts twee embeddingdimensies per cijfer, waardoor numerieke waarden effectief worden vastgelegd zonder fragmentatie. Deze compacte representatie versnelt zowel de training als de inferentie. In vergelijking met traditionele subwoord- en cijfergewijze embeddings vermindert FoNE niet alleen de rekenkundige overhead, maar behaalt het ook een hogere nauwkeurigheid bij verschillende numerieke taken, waaronder optellen, aftrekken en vermenigvuldigen. Bij het optellen van 6-cijferige decimale getallen heeft FoNE 64 keer minder data nodig om een nauwkeurigheid van 99% te bereiken dan subwoord- en cijfergewijze embeddings, terwijl het respectievelijk 3 keer en 6 keer minder tokens per getal gebruikt. Bovendien is FoNE de enige methode die een nauwkeurigheid van 100% behaalt op meer dan 100.000 testvoorbeelden voor optellen, aftrekken en vermenigvuldigen. De codes en visualisaties zijn beschikbaar op https://fouriernumber.github.io/.

English

Large Language Models (LLMs) typically represent numbers using multiple tokens, which requires the model to aggregate these tokens to interpret numerical values. This fragmentation makes both training and inference less efficient and adversely affects the model's performance on number-related tasks. Inspired by the observation that pre-trained LLMs internally learn Fourier-like features for number tokens, we propose Fourier Number Embedding (FoNE), a novel method that directly maps numbers into the embedding space with their Fourier features. FoNE encodes each number as a single token with only two embedding dimensions per digit, effectively capturing numerical values without fragmentation. This compact representation accelerates both training and inference. Compared to traditional subword and digit-wise embeddings, FoNE not only reduces computational overhead but also achieves higher accuracy across various numerical tasks including addition, subtraction and multiplication. On 6-digit decimal addition, FoNE requires 64times less data to achieve 99% accuracy than subword and digit-wise embeddings while using 3times and 6times fewer tokens per number, respectively. Furthermore, FoNE is the only method that yields 100% accuracy on over 100,000 test examples for addition, subtraction, and multiplication. The codes and visualization are available at https://fouriernumber.github.io/.