MambaByte: Modelo de Espacio de Estados Selectivo sin Tokenización

Resumen

Los modelos de lenguaje sin tokens aprenden directamente de bytes crudos y eliminan el sesgo de la tokenización por subpalabras. Sin embargo, operar con bytes resulta en secuencias significativamente más largas, y los Transformers autorregresivos estándar escalan pobremente en tales configuraciones. Experimentamos con MambaByte, una adaptación sin tokens del modelo de espacio de estados Mamba, entrenado autorregresivamente en secuencias de bytes. Nuestros experimentos indican la eficiencia computacional de MambaByte en comparación con otros modelos a nivel de byte. También encontramos que MambaByte es competitivo e incluso supera a los Transformers de subpalabras más avanzados. Además, debido a su escalado lineal en longitud, MambaByte se beneficia de una inferencia rápida en comparación con los Transformers. Nuestros hallazgos establecen la viabilidad de MambaByte para habilitar el modelado de lenguaje sin tokens.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.

MambaByte: Modelo de Espacio de Estados Selectivo sin Tokenización

MambaByte: Token-free Selective State Space Model

Resumen

Support