NextFlow: Vereintes sequenzielles Modellierung aktiviert multimodales Verständnis und Generierung
NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation
January 5, 2026
papers.authors: Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu
cs.AI
papers.abstract
Wir präsentieren NextFlow, einen vereinheitlichten, nur-dekodierenden autoregressiven Transformer, der mit 6 Billionen verschachtelten Text-Bild-diskreten Tokens trainiert wurde. Durch die Nutzung einer vereinheitlichten visuellen Repräsentation innerhalb einer vereinheitlichten autoregressiven Architektur aktiviert NextFlow nativ multimodale Verstehens- und Generierungsfähigkeiten und erschließt damit Möglichkeiten zur Bildbearbeitung, zur Erstellung verschachtelter Inhalte und zur Videogenerierung. Angeregt durch die unterschiedliche Natur der Modalitäten – Text ist streng sequenziell, während Bilder inhärent hierarchisch sind – behalten wir die Next-Token-Prädiktion für Text bei, verwenden jedoch eine Next-Scale-Prädiktion für die visuelle Generierung. Dies weicht von traditionellen Raster-Scan-Methoden ab und ermöglicht die Generierung von 1024x1024 Bildern in nur 5 Sekunden – um Größenordnungen schneller als vergleichbare AR-Modelle. Wir adressieren die Instabilitäten der Multi-Scale-Generierung durch ein robustes Trainingsrezept. Darüber hinaus führen wir eine Prefix-Tuning-Strategie für bestärkendes Lernen ein. Experimente zeigen, dass NextFlow state-of-the-art Leistung unter vereinheitlichten Modellen erreicht und in der visuellen Qualität mit spezialisierten Diffusions-Baselines konkurriert.
English
We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.