MultiHashFormer: 해시 기반 생성 언어 모델

초록

언어 모델(LM)은 어휘 크기에 따라 선형적으로 증가하는 임베딩 행렬을 사용하여 토큰을 표현한다. 매개변수 규모를 제한하기 위해, 기존 연구는 인코더 전용 모델 내에서 여러 토큰을 단일 벡터로 해싱하는 방법을 제안했다. 이는 매개변수 효율성을 제공하지만, 다대일 충돌로 인해 인과적 언어 모델에서는 사용할 수 없다. 본 논문에서는 해시 기반 자기회귀를 가능하게 하는 새로운 프레임워크인 MultiHashFormer를 제안한다. 각 토큰은 여러 개의 독립적인 해시 함수에 의해 생성된 짧은 이산 해시 ID 시퀀스인 고유한 해시 시그니처로 표현된다. 해시 인코더는 이 시그니처를 단일 잠재 벡터로 압축하여 트랜스포머 디코더가 처리할 수 있게 한다. 그런 다음 해시 디코더는 다음 토큰의 해시 시그니처를 생성하고, 이를 다시 텍스트로 매핑한다. 우리는 1억, 10억, 30억 매개변수 규모에서 접근법을 평가하여 MultiHashFormer가 여러 벤치마크에서 표준 트랜스포머 언어 모델을 일관되게 능가함을 입증한다. 또한, 본 모델은 아무런 수정 없이도 고정된 매개변수 규모로 다국어 어휘 확장을 처리할 수 있음을 보여준다.

English

Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.