MambaByte : Modèle d'espace d'états sélectif sans token

Résumé

Les modèles de langage sans tokenisation apprennent directement à partir d'octets bruts et éliminent le biais introduit par la tokenisation en sous-mots. Cependant, opérer sur des octets entraîne des séquences nettement plus longues, et les Transformers autorégressifs standards s'adaptent mal dans de tels contextes. Nous expérimentons avec MambaByte, une adaptation sans tokenisation du modèle d'espace d'états Mamba, entraîné de manière autorégressive sur des séquences d'octets. Nos expériences montrent l'efficacité computationnelle de MambaByte par rapport à d'autres modèles opérant au niveau des octets. Nous constatons également que MambaByte rivalise avec, et même surpasse, les Transformers à sous-mots de pointe. De plus, grâce à une mise à l'échelle linéaire en fonction de la longueur, MambaByte bénéficie d'une inférence rapide comparée aux Transformers. Nos résultats établissent la viabilité de MambaByte pour permettre la modélisation de langage sans tokenisation.

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.

MambaByte : Modèle d'espace d'états sélectif sans token

MambaByte: Token-free Selective State Space Model

Résumé

Support