MultiHashFormer: генеративные языковые модели на основе хэша

Аннотация

Языковые модели (LM) представляют токены с помощью матриц вложений, размер которых линейно растёт с объёмом словаря. Для сокращения количества параметров в предыдущих работах предлагалось хешировать множество токенов в единый вектор в рамках моделей только с кодировщиком. Хотя это обеспечивает эффективность по параметрам, коллизии типа «многие к одному» не позволяют использовать данный подход в каузальных LM. В данной статье мы предлагаем MultiHashFormer — новую архитектуру, которая делает возможной хеш-основанную авторегрессию. Каждый токен представляется в виде уникальной хеш-подписи — короткой последовательности дискретных хеш-идентификаторов, генерируемой несколькими независимыми хеш-функциями. Хеш-энкодер сжимает эту подпись в единый латентный вектор для обработки декодером Transformer. Затем хеш-декодер генерирует хеш-подпись следующего токена, которая преобразуется обратно в текст. Мы оцениваем наш подход при масштабах в 100 млн, 1 млрд и 3 млрд параметров, демонстрируя, что MultiHashFormer стабильно превосходит стандартные языковые модели Transformer по нескольким бенчмаркам. Кроме того, мы показываем, что наша модель справляется с расширением многоязычного словаря при неизменном количестве параметров без каких-либо модификаций.

English

Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.