FoNE : Encodages numériques précis par token via des caractéristiques de Fourier

FoNE: Precise Single-Token Number Embeddings via Fourier Features

February 13, 2025

Auteurs: Tianyi Zhou, Deqing Fu, Mahdi Soltanolkotabi, Robin Jia, Vatsal Sharan

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) représentent généralement les nombres à l'aide de plusieurs tokens, ce qui oblige le modèle à agréger ces tokens pour interpréter les valeurs numériques. Cette fragmentation rend à la fois l'entraînement et l'inférence moins efficaces et affecte négativement les performances du modèle sur les tâches liées aux nombres. Inspirés par l'observation que les LLMs pré-entraînés apprennent en interne des caractéristiques de type Fourier pour les tokens numériques, nous proposons Fourier Number Embedding (FoNE), une méthode novatrice qui mappe directement les nombres dans l'espace d'embedding avec leurs caractéristiques de Fourier. FoNE encode chaque nombre en un seul token avec seulement deux dimensions d'embedding par chiffre, capturant ainsi efficacement les valeurs numériques sans fragmentation. Cette représentation compacte accélère à la fois l'entraînement et l'inférence. Par rapport aux embeddings traditionnels basés sur les sous-mots et les chiffres individuels, FoNE réduit non seulement la surcharge computationnelle, mais atteint également une précision plus élevée sur diverses tâches numériques, y compris l'addition, la soustraction et la multiplication. Pour l'addition de nombres décimaux à 6 chiffres, FoNE nécessite 64 fois moins de données pour atteindre une précision de 99 % par rapport aux embeddings basés sur les sous-mots et les chiffres individuels, tout en utilisant respectivement 3 fois et 6 fois moins de tokens par nombre. De plus, FoNE est la seule méthode qui atteint une précision de 100 % sur plus de 100 000 exemples de test pour l'addition, la soustraction et la multiplication. Les codes et les visualisations sont disponibles à l'adresse https://fouriernumber.github.io/.

English

Large Language Models (LLMs) typically represent numbers using multiple tokens, which requires the model to aggregate these tokens to interpret numerical values. This fragmentation makes both training and inference less efficient and adversely affects the model's performance on number-related tasks. Inspired by the observation that pre-trained LLMs internally learn Fourier-like features for number tokens, we propose Fourier Number Embedding (FoNE), a novel method that directly maps numbers into the embedding space with their Fourier features. FoNE encodes each number as a single token with only two embedding dimensions per digit, effectively capturing numerical values without fragmentation. This compact representation accelerates both training and inference. Compared to traditional subword and digit-wise embeddings, FoNE not only reduces computational overhead but also achieves higher accuracy across various numerical tasks including addition, subtraction and multiplication. On 6-digit decimal addition, FoNE requires 64times less data to achieve 99% accuracy than subword and digit-wise embeddings while using 3times and 6times fewer tokens per number, respectively. Furthermore, FoNE is the only method that yields 100% accuracy on over 100,000 test examples for addition, subtraction, and multiplication. The codes and visualization are available at https://fouriernumber.github.io/.