NextStep-1 : Vers une génération d'images autorégressive avec des tokens continus à grande échelle

NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale

August 14, 2025

papers.authors: NextStep Team, Chunrui Han, Guopeng Li, Jingwei Wu, Quan Sun, Yan Cai, Yuang Peng, Zheng Ge, Deyu Zhou, Haomiao Tang, Hongyu Zhou, Kenkun Liu, Ailin Huang, Bin Wang, Changxin Miao, Deshan Sun, En Yu, Fukun Yin, Gang Yu, Hao Nie, Haoran Lv, Hanpeng Hu, Jia Wang, Jian Zhou, Jianjian Sun, Kaijun Tan, Kang An, Kangheng Lin, Liang Zhao, Mei Chen, Peng Xing, Rui Wang, Shiyu Liu, Shutao Xia, Tianhao You, Wei Ji, Xianfang Zeng, Xin Han, Xuelin Zhang, Yana Wei, Yanming Xu, Yimin Jiang, Yingming Wang, Yu Zhou, Yucheng Han, Ziyang Meng, Binxing Jiao, Daxin Jiang, Xiangyu Zhang, Yibo Zhu

cs.AI

papers.abstract

Les modèles autorégressifs (AR) dominants pour la génération d'images à partir de texte reposent soit sur des modèles de diffusion lourds et intensifs en calcul pour traiter des tokens d'image continus, soit sur une quantification vectorielle (VQ) pour obtenir des tokens discrets avec une perte de quantification. Dans cet article, nous faisons progresser le paradigme autorégressif avec NextStep-1, un modèle autorégressif de 14 milliards de paramètres couplé à une tête de correspondance de flux de 157 millions de paramètres, entraîné sur des tokens de texte discrets et des tokens d'image continus avec des objectifs de prédiction du token suivant. NextStep-1 atteint des performances de pointe pour les modèles autorégressifs dans les tâches de génération d'images à partir de texte, démontrant de solides capacités en synthèse d'images haute fidélité. De plus, notre méthode montre des performances remarquables en édition d'images, mettant en évidence la puissance et la polyvalence de notre approche unifiée. Pour favoriser la recherche ouverte, nous publierons notre code et nos modèles à la communauté.

English

Prevailing autoregressive (AR) models for text-to-image generation either rely on heavy, computationally-intensive diffusion models to process continuous image tokens, or employ vector quantization (VQ) to obtain discrete tokens with quantization loss. In this paper, we push the autoregressive paradigm forward with NextStep-1, a 14B autoregressive model paired with a 157M flow matching head, training on discrete text tokens and continuous image tokens with next-token prediction objectives. NextStep-1 achieves state-of-the-art performance for autoregressive models in text-to-image generation tasks, exhibiting strong capabilities in high-fidelity image synthesis. Furthermore, our method shows strong performance in image editing, highlighting the power and versatility of our unified approach. To facilitate open research, we will release our code and models to the community.