NextFlow: Единое последовательное моделирование активирует мультимодальное понимание и генерацию

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

January 5, 2026

Авторы: Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu

cs.AI

Аннотация

Мы представляем NextFlow — унифицированный авторегрессионный трансформер с декодером, обученный на 6 триллионах перемежающихся текстово-визуальных дискретных токенов. Благодаря использованию единого визуального представления в рамках унифицированной авторегрессионной архитектуры, NextFlow изначально активирует возможности мультимодального понимания и генерации, раскрывая способности редактирования изображений, создания перемежающегося контента и генерации видео. Учитывая различную природу модальностей — где текст строго последователен, а изображения по своей сути иерархичны — мы сохраняем прогнозирование следующего токена для текста, но применяем прогнозирование следующего масштаба для визуальной генерации. Это отличает наш подход от традиционных методов растрового сканирования, позволяя генерировать изображения размером 1024×1024 всего за 5 секунд — на порядки быстрее, чем сопоставимые AR-модели. Мы решаем проблему нестабильности многомасштабной генерации с помощью надежной методики обучения. Кроме того, мы представляем стратегию префиксного тюнинга для обучения с подкреплением. Эксперименты демонстрируют, что NextFlow достигает передовых показателей среди унифицированных моделей и конкурирует со специализированными диффузионными моделями по визуальному качеству.

English

We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.