FoNE: Incrustaciones Numéricas de Token Único Precisas mediante Características de Fourier

FoNE: Precise Single-Token Number Embeddings via Fourier Features

February 13, 2025

Autores: Tianyi Zhou, Deqing Fu, Mahdi Soltanolkotabi, Robin Jia, Vatsal Sharan

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) suelen representar números utilizando múltiples tokens, lo que requiere que el modelo agregue estos tokens para interpretar valores numéricos. Esta fragmentación hace que tanto el entrenamiento como la inferencia sean menos eficientes y afecta negativamente el rendimiento del modelo en tareas relacionadas con números. Inspirados por la observación de que los LLMs preentrenados aprenden internamente características de tipo Fourier para los tokens numéricos, proponemos Fourier Number Embedding (FoNE), un método novedoso que mapea directamente los números en el espacio de incrustación utilizando sus características de Fourier. FoNE codifica cada número como un solo token con solo dos dimensiones de incrustación por dígito, capturando eficazmente los valores numéricos sin fragmentación. Esta representación compacta acelera tanto el entrenamiento como la inferencia. En comparación con las incrustaciones tradicionales basadas en subpalabras y dígitos, FoNE no solo reduce la sobrecarga computacional, sino que también logra una mayor precisión en diversas tareas numéricas, incluyendo suma, resta y multiplicación. En la suma de números decimales de 6 dígitos, FoNE requiere 64 veces menos datos para alcanzar un 99% de precisión que las incrustaciones basadas en subpalabras y dígitos, mientras utiliza 3 veces y 6 veces menos tokens por número, respectivamente. Además, FoNE es el único método que logra un 100% de precisión en más de 100,000 ejemplos de prueba para suma, resta y multiplicación. Los códigos y visualizaciones están disponibles en https://fouriernumber.github.io/.

English

Large Language Models (LLMs) typically represent numbers using multiple tokens, which requires the model to aggregate these tokens to interpret numerical values. This fragmentation makes both training and inference less efficient and adversely affects the model's performance on number-related tasks. Inspired by the observation that pre-trained LLMs internally learn Fourier-like features for number tokens, we propose Fourier Number Embedding (FoNE), a novel method that directly maps numbers into the embedding space with their Fourier features. FoNE encodes each number as a single token with only two embedding dimensions per digit, effectively capturing numerical values without fragmentation. This compact representation accelerates both training and inference. Compared to traditional subword and digit-wise embeddings, FoNE not only reduces computational overhead but also achieves higher accuracy across various numerical tasks including addition, subtraction and multiplication. On 6-digit decimal addition, FoNE requires 64times less data to achieve 99% accuracy than subword and digit-wise embeddings while using 3times and 6times fewer tokens per number, respectively. Furthermore, FoNE is the only method that yields 100% accuracy on over 100,000 test examples for addition, subtraction, and multiplication. The codes and visualization are available at https://fouriernumber.github.io/.