NextFlow: Verenigd Sequentieel Modelleren Activeert Multimodaal Begrip en Generatie

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

January 5, 2026

Auteurs: Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu

cs.AI

Samenvatting

Wij presenteren NextFlow, een uniforme decoder-only autoregressieve transformer getraind op 6 biljoen geïnterleaveerde tekst-beeld discrete tokens. Door gebruik te maken van een uniforme visuele representatie binnen een uniforme autoregressieve architectuur, activeert NextFlow op natuurlijke wijze multimodale begrips- en generatiecapaciteiten, waardoor mogelijkheden voor beeldbewerking, geïnterleaveerde content en videogeneratie worden ontsloten. Gemotiveerd door de verschillende aard van modaliteiten - waarbij tekst strikt sequentieel is en beelden inherent hiërarchisch - behouden we next-token predictie voor tekst maar adopteren we next-scale predictie voor visuele generatie. Dit wijkt af van traditionele raster-scan methoden en maakt de generatie van 1024x1024 beelden mogelijk in slechts 5 seconden - ordes van grootte sneller dan vergelijkbare AR-modellen. Wij adresseren de instabiliteiten van multi-scale generatie via een robuust trainingsrecept. Verder introduceren we een prefix-tuning strategie voor reinforcement learning. Experimenten tonen aan dat NextFlow state-of-the-art prestaties bereikt onder uniforme modellen en kan rivaliseren met gespecialiseerde diffusion baseline-modellen in visuele kwaliteit.

English

We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.