FoNE: Точные встраивания чисел в виде одного токена с использованием признаков Фурье

FoNE: Precise Single-Token Number Embeddings via Fourier Features

February 13, 2025

Авторы: Tianyi Zhou, Deqing Fu, Mahdi Soltanolkotabi, Robin Jia, Vatsal Sharan

cs.AI

Аннотация

Крупные языковые модели (LLM) обычно представляют числа с использованием нескольких токенов, что требует от модели агрегирования этих токенов для интерпретации числовых значений. Такая фрагментация делает как обучение, так и вывод менее эффективными и негативно сказывается на производительности модели в задачах, связанных с числами. Вдохновленные наблюдением, что предобученные LLM внутренне изучают Фурье-подобные признаки для числовых токенов, мы предлагаем Фурье-вложение чисел (Fourier Number Embedding, FoNE) — новый метод, который напрямую отображает числа в пространство вложений с использованием их Фурье-признаков. FoNE кодирует каждое число как один токен с использованием всего двух измерений вложения на цифру, эффективно захватывая числовые значения без фрагментации. Это компактное представление ускоряет как обучение, так и вывод. По сравнению с традиционными субсловными и поцифровыми вложениями, FoNE не только снижает вычислительные затраты, но и достигает более высокой точности в различных числовых задачах, включая сложение, вычитание и умножение. В задаче сложения 6-значных десятичных чисел FoNE требует в 64 раза меньше данных для достижения 99% точности по сравнению с субсловными и поцифровыми вложениями, используя при этом в 3 и 6 раз меньше токенов на число соответственно. Более того, FoNE является единственным методом, который обеспечивает 100% точность на более чем 100 000 тестовых примерах для сложения, вычитания и умножения. Коды и визуализации доступны по адресу https://fouriernumber.github.io/.

English

Large Language Models (LLMs) typically represent numbers using multiple tokens, which requires the model to aggregate these tokens to interpret numerical values. This fragmentation makes both training and inference less efficient and adversely affects the model's performance on number-related tasks. Inspired by the observation that pre-trained LLMs internally learn Fourier-like features for number tokens, we propose Fourier Number Embedding (FoNE), a novel method that directly maps numbers into the embedding space with their Fourier features. FoNE encodes each number as a single token with only two embedding dimensions per digit, effectively capturing numerical values without fragmentation. This compact representation accelerates both training and inference. Compared to traditional subword and digit-wise embeddings, FoNE not only reduces computational overhead but also achieves higher accuracy across various numerical tasks including addition, subtraction and multiplication. On 6-digit decimal addition, FoNE requires 64times less data to achieve 99% accuracy than subword and digit-wise embeddings while using 3times and 6times fewer tokens per number, respectively. Furthermore, FoNE is the only method that yields 100% accuracy on over 100,000 test examples for addition, subtraction, and multiplication. The codes and visualization are available at https://fouriernumber.github.io/.