MultiHashFormer : Modèles de langage génératifs basés sur le hachage

Résumé

Les modèles de langage (ML) représentent les tokens à l'aide de matrices de plongement dont la taille croît linéairement avec celle du vocabulaire. Afin de contraindre l'empreinte paramétrique, des travaux antérieurs proposent de hacher plusieurs tokens en un seul vecteur au sein de modèles à encodeur uniquement. Bien que cette approche offre une efficacité paramétrique, les collisions plusieurs-à-un empêchent son utilisation dans les ML causaux. Dans cet article, nous proposons MultiHashFormer, une nouvelle architecture permettant l'autorégression basée sur le hachage. Chaque token est représenté par une signature de hachage unique, une courte séquence d'identifiants de hachage discrets, générée par plusieurs fonctions de hachage indépendantes. Un Encodeur de hachage compresse cette signature en un vecteur latent unique destiné à être traité par un décodeur Transformer. Ensuite, un Décodeur de hachage génère la signature de hachage du token suivant, qui est ensuite reconvertie en texte. Nous évaluons notre approche aux échelles de 100M, 1B et 3B paramètres, démontrant que MultiHashFormer surpasse systématiquement les ML Transformer standards sur plusieurs références. De plus, nous montrons que notre modèle gère l'expansion multilingue du vocabulaire avec une empreinte paramétrique constante, sans aucune modification.

English

Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.