ByteFlow: Modelagem de Linguagem através de Compressão Adaptativa de Bytes sem um Tokenizador
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
March 3, 2026
Autores: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li
cs.AI
Resumo
Os modelos linguísticos modernos ainda dependem de tokenizações de subpalavras fixas e pré-definidas. Uma vez que um tokenizador é treinado, o modelo de linguagem só pode operar neste nível fixo de granularidade, o que frequentemente leva a comportamentos frágeis e contra-intuitivos, mesmo em modelos de raciocínio robustos. Apresentamos o ByteFlow Net, uma nova arquitetura hierárquica que elimina completamente os tokenizadores e, em vez disso, permite que os modelos aprendam sua própria segmentação de fluxos de bytes brutos em unidades semanticamente significativas. O ByteFlow Net realiza uma segmentação orientada por compressão com base na taxa de codificação das representações latentes, produzindo limites adaptativos enquanto preserva um grafo de computação estático via seleção Top-K. Diferente de métodos anteriores de auto-tokenização que dependem de heurísticas frágeis com vieses indutivos projetados por humanos, o ByteFlow Net adapta sua granularidade de representação interna ao próprio *input*. Experimentos demonstram que esta estratégia de segmentação baseada em compressão produz ganhos substanciais de desempenho, com o ByteFlow Net superando tanto os *Transformers* baseados em BPE quanto arquiteturas anteriores de nível de byte. Estes resultados sugerem que a modelagem *end-to-end* e livre de tokenizadores não só é viável, mas também mais eficaz, abrindo um caminho para modelos de linguagem mais adaptativos e fundamentados na informação.
English
Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.