MambaByte: Modello a Spazio di Stati Selettivo senza Token

MambaByte: Token-free Selective State Space Model

January 24, 2024

Autori: Junxiong Wang, Tushaar Gangavarapu, Jing Nathan Yan, Alexander M Rush

cs.AI

Abstract

I modelli linguistici senza token apprendono direttamente da byte grezzi ed eliminano il bias della tokenizzazione a livello di sottoparola. Operare sui byte, tuttavia, comporta sequenze significativamente più lunghe, e i Transformer autoregressivi standard scalano male in tali contesti. Sperimentiamo con MambaByte, un adattamento senza token del modello a spazio di stati Mamba, addestrato autoregressivamente su sequenze di byte. I nostri esperimenti indicano l'efficienza computazionale di MambaByte rispetto ad altri modelli a livello di byte. Troviamo inoltre che MambaByte è competitivo e addirittura supera i Transformer a sottoparola all'avanguardia. Inoltre, grazie alla scalabilità lineare in lunghezza, MambaByte beneficia di un'inferenza veloce rispetto ai Transformer. I nostri risultati stabiliscono la fattibilità di MambaByte nell'abilitare la modellazione linguistica senza token.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.