ByteFlow : Modélisation du langage par compression adaptative d'octets sans tokeniseur
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
March 3, 2026
Auteurs: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li
cs.AI
Résumé
Les modèles linguistiques modernes reposent encore sur des tokenisations de sous-mots fixes et prédéfinies. Une fois qu'un tokeniseur est entraîné, le modèle ne peut opérer qu'à ce niveau de granularité fixe, ce qui entraîne souvent des comportements fragiles et contre-intuitifs, même pour des modèles par ailleurs performants en raisonnement. Nous présentons ByteFlow Net, une nouvelle architecture hiérarchique qui supprime entièrement les tokeniseurs et permet aux modèles d'apprendre leur propre segmentation des flux d'octets bruts en unités sémantiquement significatives. ByteFlow Net effectue une segmentation pilotée par la compression basée sur le taux de codage des représentations latentes, produisant des frontières adaptatives tout en préservant un graphe de calcul statique via une sélection Top-K. Contrairement aux méthodes d'auto-tokenisation antérieures qui dépendent d'heuristiques fragiles avec des biais inductifs conçus par l'homme, ByteFlow Net adapte la granularité de sa représentation interne à l'entrée elle-même. Les expériences démontrent que cette stratégie de segmentation par compression procure des gains substantiels de performances, ByteFlow Net surpassant à la fois les Transformers basés sur BPE et les architectures antérieures au niveau des octets. Ces résultats suggèrent que la modélisation end-to-end sans tokeniseur est non seulement réalisable mais aussi plus efficace, ouvrant la voie vers des modèles de langage plus adaptatifs et ancrés dans l'information.
English
Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.