MultiHashFormer: Hash-basierte generative Sprachmodelle

Zusammenfassung

Sprachmodelle (LMs) repräsentieren Token mithilfe von Einbettungsmatrizen, die linear mit der Vokabulargröße skalieren. Um die Parameteranzahl zu begrenzen, schlägt frühere Arbeit vor, viele Token in einem einzigen Vektor innerhalb von Encoder-only-Modellen zu hashen. Obwohl dies Parametereffizienz bietet, verhindern Many-to-One-Kollisionen dessen Verwendung in kausalen LMs. In dieser Arbeit schlagen wir MultiHashFormer vor, ein neues Framework, das hashbasierte Autoregression ermöglicht. Jeder Token wird als eine eindeutige Hash-Signatur dargestellt – eine kurze Sequenz diskreter Hash-IDs, die von mehreren unabhängigen Hash-Funktionen erzeugt wird. Ein Hash-Encoder komprimiert diese Signatur zu einem einzigen latenten Vektor zur Verarbeitung durch einen Transformer-Decoder. Anschließend erzeugt ein Hash-Decoder die Hash-Signatur des nächsten Tokens, die dann zurück in Text abgebildet wird. Wir evaluieren unseren Ansatz bei den Parameterskalen 100M, 1B und 3B und zeigen, dass MultiHashFormer in mehreren Benchmarks durchweg besser abschneidet als standardmäßige Transformer-LMs. Darüber hinaus zeigen wir, dass unser Modell die mehrsprachige Vokabularerweiterung mit einer konstanten Parameteranzahl ohne jegliche Modifikationen bewältigt.

English

Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.