ByteFlow: Modellazione Linguistica tramite Compressione Adattiva di Byte senza Tokenizer

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer

March 3, 2026

Autori: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li

cs.AI

Abstract

I modelli linguistici moderni si basano ancora su tokenizzazioni sublessicali predefinite e fisse. Una volta addestrato un tokenizer, il LM può operare solo a questo livello di granularità fisso, il che spesso porta a comportamenti fragili e controintuitivi anche in modelli di ragionamento altrimenti robusti. Introduciamo ByteFlow Net, una nuova architettura gerarchica che elimina completamente i tokenizer e consente invece ai modelli di apprendere autonomamente la segmentazione dei flussi di byte grezzi in unità semanticamente significative. ByteFlow Net esegue una segmentazione guidata dalla compressione basata sul tasso di codifica delle rappresentazioni latenti, producendo confini adattativi mentre preserva un grafo computazionale statico tramite selezione Top-K. A differenza dei metodi di auto-tokenizzazione precedenti che dipendono da euristiche fragili con bias induttivi progettati manualmente, ByteFlow Net adatta la propria granularità rappresentativa interna all'input stesso. Gli esperimenti dimostrano che questa strategia di segmentazione basata sulla compressione produce guadagni prestazionali sostanziali, con ByteFlow Net che supera sia i Transformer basati su BPE che le architetture precedenti a livello di byte. Questi risultati suggeriscono che la modellazione end-to-end senza tokenizer non sia solo fattibile ma anche più efficace, aprendo la strada verso modelli linguistici più adattivi e fondati sull'informazione.

English

Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.