MultiHashFormer: Modelos de lenguaje generativos basados en hash

Resumen

Los modelos de lenguaje (LM) representan los tokens mediante matrices de embeddings que escalan linealmente con el tamaño del vocabulario. Para limitar el volumen de parámetros, trabajos previos proponen el hashing de múltiples tokens en un solo vector dentro de modelos exclusivamente con codificadores. Si bien esto ofrece eficiencia paramétrica, las colisiones de muchos a uno impiden su uso en LM causales. En este artículo, presentamos MultiHashFormer, un nuevo marco que permite la autorregresión basada en hash. Cada token se representa como una firma hash única, una secuencia corta de identificadores hash discretos generados por múltiples funciones hash independientes. Un Codificador Hash comprime esta firma en un único vector latente para ser procesado por un decodificador Transformer. Luego, un Decodificador Hash genera la firma hash del siguiente token, la cual se mapea de vuelta al texto. Evaluamos nuestro enfoque en escalas de 100M, 1B y 3B parámetros, demostrando que MultiHashFormer supera consistentemente a los LM Transformer estándar en múltiples puntos de referencia. Además, mostramos que nuestro modelo maneja la expansión multilingüe del vocabulario con un volumen de parámetros constante y sin necesidad de modificaciones.

English

Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.