ByteFlow: Моделирование языка с помощью адаптивного байтового сжатия без использования токенизатора

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer

March 3, 2026

Авторы: Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li

cs.AI

Аннотация

Современные языковые модели по-прежнему используют фиксированные, заранее определённые субсловные токенизации. После обучения токенизатора языковая модель может работать только на этом фиксированном уровне гранулярности, что часто приводит к хрупкому и контр-интуитивному поведению даже у моделей с сильными рассуждениями. Мы представляем ByteFlow Net — новую иерархическую архитектуру, которая полностью устраняет токенизаторы и вместо этого позволяет моделям самостоятельно изучать сегментацию исходных потоков байтов на семантически значимые единицы. ByteFlow Net выполняет сегментацию на основе сжатия, используя кодовую скорость латентных представлений, что позволяет получать адаптивные границы при сохранении статического графа вычислений с помощью Top-K селекции. В отличие от предыдущих методов само-токенизации, зависящих от хрупких эвристик с индуктивными смещениями, созданными человеком, ByteFlow Net адаптирует гранулярность своего внутреннего представления к самим входным данным. Эксперименты показывают, что эта стратегия чанкинга на основе сжатия обеспечивает значительный прирост производительности: ByteFlow Net превосходит как трансформеры на основе BPE, так и предыдущие байт-уровневые архитектуры. Эти результаты свидетельствуют, что сквозное моделирование без токенизаторов не только осуществимо, но и более эффективно, открывая путь к созданию более адаптивных и информационно-обоснованных языковых моделей.

English

Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.