NextFlow: El Modelado Secuencial Unificado Activa la Comprensión y Generación Multimodal

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

January 5, 2026

Autores: Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu

cs.AI

Resumen

Presentamos NextFlow, un transformer autoregresivo unificado de solo decodificador entrenado con 6 billones de tokens discretos intercalados de texto e imagen. Al aprovechar una representación visual unificada dentro de una arquitectura autoregresiva unificada, NextFlow activa de forma nativa capacidades de comprensión y generación multimodal, desbloqueando habilidades de edición de imágenes, generación de contenido intercalado y vídeo. Motivados por la naturaleza distinta de las modalidades —donde el texto es estrictamente secuencial y las imágenes son inherentemente jerárquicas—, conservamos la predicción del siguiente token para el texto pero adoptamos la predicción de la siguiente escala para la generación visual. Esto se aparta de los métodos tradicionales de escaneo en raster, permitiendo generar imágenes de 1024x1024 en solo 5 segundos —órdenes de magnitud más rápido que modelos AR comparables. Abordamos las inestabilidades de la generación multiescala mediante una receta de entrenamiento robusta. Además, introducimos una estrategia de *prefix-tuning* para el aprendizaje por refuerzo. Los experimentos demuestran que NextFlow logra un rendimiento de vanguardia entre los modelos unificados y rivaliza con líneas base de difusión especializadas en calidad visual.

English

We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.