ByteFlow: Taalmodelering via adaptieve bytecompressie zonder tokenizer
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
March 3, 2026
Auteurs: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li
cs.AI
Samenvatting
Moderne taalmodellen blijven afhankelijk van vaste, vooraf gedefinieerde subwoord-tokenisaties. Zodra een tokenizer is getraind, kan het taalmodel alleen op dit vaste granulariteitsniveau opereren, wat vaak leidt tot broos en contra-intuïtief gedrag, zelfs in verder sterke redeneermodellen. Wij introduceren ByteFlow Net, een nieuwe hiërarchische architectuur die tokenizers volledig elimineert en in plaats daarvan modellen in staat stelt hun eigen segmentatie van ruwe bytestromen in semantisch betekenisvolle eenheden aan te leren. ByteFlow Net voert compressiegedreven segmentatie uit op basis van de coderingssnelheid van latente representaties, wat adaptieve grenzen oplevert terwijl een statische rekenstructuur behouden blijft via Top-K-selectie. In tegenstelling tot eerdere zelf-tokeniserende methoden die afhangen van broze heuristieken met door mensen ontworzen inductieve vooroordelen, past ByteFlow Net de granulariteit van zijn interne representatie aan aan de invoer zelf. Experimenten tonen aan dat deze op compressie gebaseerde chunking-strategie aanzienlijke prestatieverbeteringen oplevert, waarbij ByteFlow Net zowel BPE-gebaseerde Transformers als eerdere byteniveau-architecturen overtreft. Deze resultaten suggereren dat end-to-end, tokenizer-vrije modellering niet alleen haalbaar is, maar ook effectiever, wat een weg opent naar adaptievere en informatiegegronde taalmodellen.
English
Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.