MambaByte: Tokenfreies selektives Zustandsraummodell

MambaByte: Token-free Selective State Space Model

January 24, 2024

Autoren: Junxiong Wang, Tushaar Gangavarapu, Jing Nathan Yan, Alexander M Rush

cs.AI

Zusammenfassung

Tokenfreie Sprachmodelle lernen direkt aus Rohbytes und entfernen die Verzerrung der Subwort-Tokenisierung. Das Arbeiten mit Bytes führt jedoch zu deutlich längeren Sequenzen, und standardmäßige autoregressive Transformer skalieren in solchen Szenarien schlecht. Wir experimentieren mit MambaByte, einer tokenfreien Anpassung des Mamba- Zustandsraummodells, das autoregressiv auf Byte-Sequenzen trainiert wird. Unsere Experimente zeigen die rechnerische Effizienz von MambaByte im Vergleich zu anderen Byte-Level- Modellen. Wir stellen außerdem fest, dass MambaByte mit modernsten Subwort-Transformern konkurrieren kann und diese sogar übertreffen kann. Darüber hinaus profitiert MambaByte aufgrund der linearen Skalierung in der Länge im Vergleich zu Transformern von schnellem Inferenz. Unsere Ergebnisse bestätigen die Machbarkeit von MambaByte bei der Ermöglichung von tokenfreiem Sprachmodellierung.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.