ByteFlow: Modelado de Lenguaje mediante Compresión Adaptativa de Bytes sin Tokenizador
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
March 3, 2026
Autores: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li
cs.AI
Resumen
Los modelos lingüísticos modernos aún dependen de tokenizaciones de subpalabras predefinidas y fijas. Una vez que un tokenizador es entrenado, el modelo de lenguaje solo puede operar en este nivel fijo de granularidad, lo que a menudo conduce a comportamientos frágiles y contraintuitivos incluso en modelos de razonamiento por lo demás sólidos. Presentamos ByteFlow Net, una nueva arquitectura jerárquica que elimina por completo los tokenizadores y, en su lugar, permite a los modelos aprender su propia segmentación de flujos de bytes brutos en unidades semánticamente significativas. ByteFlow Net realiza una segmentación impulsada por compresión basada en la tasa de codificación de las representaciones latentes, produciendo límites adaptativos mientras preserva un grafo computacional estático mediante selección Top-K. A diferencia de métodos anteriores de auto-tokenización que dependen de heurísticas frágiles con sesgos inductivos diseñados por humanos, ByteFlow Net adapta la granularidad de su representación interna a la propia entrada. Los experimentos demuestran que esta estrategia de segmentación basada en compresión produce ganancias sustanciales de rendimiento, superando ByteFlow Net tanto a Transformers basados en BPE como a arquitecturas previas a nivel de byte. Estos resultados sugieren que el modelado libre de tokenizadores y de extremo a extremo no solo es factible, sino también más efectivo, abriendo un camino hacia modelos de lenguaje más adaptativos y fundamentados en la información.
English
Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.