NextFlow: Modelagem Sequencial Unificada Ativa a Compreensão e Geração Multimodal
NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation
January 5, 2026
Autores: Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu
cs.AI
Resumo
Apresentamos o NextFlow, um transformer autoregressivo unificado de apenas decodificação, treinado em 6 trilhões de tokens discretos intercalados de texto e imagem. Ao aproveitar uma representação visual unificada dentro de uma arquitetura autoregressiva unificada, o NextFlow ativa nativamente capacidades de compreensão e geração multimodal, desbloqueando habilidades de edição de imagem, geração de conteúdo intercalado e vídeo. Motivados pela natureza distinta das modalidades - onde o texto é estritamente sequencial e as imagens são inerentemente hierárquicas - mantemos a previsão do próximo token para texto, mas adotamos a previsão da próxima escala para geração visual. Isso se afasta dos métodos tradicionais de varredura raster, permitindo a geração de imagens de 1024x1024 em apenas 5 segundos - ordens de magnitude mais rápido do que modelos AR comparáveis. Abordamos as instabilidades da geração multiescala por meio de uma receita de treinamento robusta. Além disso, introduzimos uma estratégia de prefix-tuning para aprendizagem por reforço. Experimentos demonstram que o NextFlow alcança desempenho de ponta entre modelos unificados e rivaliza com baselines especializadas de difusão em qualidade visual.
English
We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.