От байтов к идеям: языковое моделирование с помощью авторегрессивных U-Net
From Bytes to Ideas: Language Modeling with Autoregressive U-Nets
June 17, 2025
Авторы: Mathurin Videau, Badr Youbi Idrissi, Alessandro Leite, Marc Schoenauer, Olivier Teytaud, David Lopez-Paz
cs.AI
Аннотация
Токенизация накладывает фиксированную гранулярность на входной текст, закрепляя то, как языковая модель работает с данными и насколько далеко в будущее она предсказывает. Byte Pair Encoding (BPE) и аналогичные схемы разделяют текст один раз, создают статический словарь и оставляют модель привязанной к этому выбору. Мы смягчаем эту жесткость, вводя авторегрессионную U-Net, которая учится встраивать собственные токены в процессе обучения. Сеть считывает сырые байты, объединяет их в слова, затем в пары слов и далее до 4 слов, что дает ей многоуровневый взгляд на последовательность. На более глубоких этапах модель должна предсказывать дальше в будущее — предвосхищая следующие несколько слов, а не следующий байт, — поэтому более глубокие этапы сосредотачиваются на более широких семантических паттернах, в то время как ранние этапы обрабатывают мелкие детали. При тщательной настройке и контроле вычислительных ресурсов предварительного обучения, неглубокие иерархии достигают уровня сильных базовых моделей BPE, а более глубокие иерархии демонстрируют многообещающую тенденцию. Поскольку токенизация теперь встроена в модель, одна и та же система может справляться с задачами на уровне символов и переносить знания между языками с ограниченными ресурсами.
English
Tokenization imposes a fixed granularity on the input text, freezing how a
language model operates on data and how far in the future it predicts. Byte
Pair Encoding (BPE) and similar schemes split text once, build a static
vocabulary, and leave the model stuck with that choice. We relax this rigidity
by introducing an autoregressive U-Net that learns to embed its own tokens as
it trains. The network reads raw bytes, pools them into words, then pairs of
words, then up to 4 words, giving it a multi-scale view of the sequence. At
deeper stages, the model must predict further into the future -- anticipating
the next few words rather than the next byte -- so deeper stages focus on
broader semantic patterns while earlier stages handle fine details. When
carefully tuning and controlling pretraining compute, shallow hierarchies tie
strong BPE baselines, and deeper hierarchies have a promising trend. Because
tokenization now lives inside the model, the same system can handle
character-level tasks and carry knowledge across low-resource languages.