MambaByte: Токен-свободная модель селективного пространства состояний

MambaByte: Token-free Selective State Space Model

January 24, 2024

Авторы: Junxiong Wang, Tushaar Gangavarapu, Jing Nathan Yan, Alexander M Rush

cs.AI

Аннотация

Языковые модели без токенизации обучаются непосредственно на сырых байтах, устраняя смещение, присущее субсловной токенизации. Однако работа с байтами приводит к значительно более длинным последовательностям, а стандартные авторегрессивные трансформеры плохо масштабируются в таких условиях. Мы экспериментируем с MambaByte — адаптацией модели пространства состояний Mamba без токенизации, обученной авторегрессивно на последовательностях байтов. Наши эксперименты показывают вычислительную эффективность MambaByte по сравнению с другими моделями, работающими на уровне байтов. Мы также обнаруживаем, что MambaByte конкурирует с современными субсловными трансформерами и даже превосходит их. Благодаря линейному масштабированию по длине, MambaByte обеспечивает быстрое выполнение по сравнению с трансформерами. Наши результаты подтверждают жизнеспособность MambaByte в реализации языкового моделирования без токенизации.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.