MambaByte: Modelo de Espaço de Estados Seletivo Livre de Tokens

MambaByte: Token-free Selective State Space Model

January 24, 2024

Autores: Junxiong Wang, Tushaar Gangavarapu, Jing Nathan Yan, Alexander M Rush

cs.AI

Resumo

Modelos de linguagem sem tokenização aprendem diretamente a partir de bytes brutos e eliminam o viés da tokenização em subpalavras. No entanto, operar em bytes resulta em sequências significativamente mais longas, e os Transformers autoregressivos padrão têm um desempenho ruim nesses cenários. Experimentamos com o MambaByte, uma adaptação sem tokenização do modelo de espaço de estados Mamba, treinado de forma autoregressiva em sequências de bytes. Nossos experimentos indicam a eficiência computacional do MambaByte em comparação com outros modelos em nível de byte. Também descobrimos que o MambaByte é competitivo e até supera Transformers de última geração baseados em subpalavras. Além disso, devido à escala linear em comprimento, o MambaByte se beneficia de inferência rápida em comparação com Transformers. Nossas descobertas estabelecem a viabilidade do MambaByte na modelagem de linguagem sem tokenização.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.