NextStep-1: Hacia la generación autoregresiva de imágenes con tokens continuos a gran escala

NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale

August 14, 2025

Autores: NextStep Team, Chunrui Han, Guopeng Li, Jingwei Wu, Quan Sun, Yan Cai, Yuang Peng, Zheng Ge, Deyu Zhou, Haomiao Tang, Hongyu Zhou, Kenkun Liu, Ailin Huang, Bin Wang, Changxin Miao, Deshan Sun, En Yu, Fukun Yin, Gang Yu, Hao Nie, Haoran Lv, Hanpeng Hu, Jia Wang, Jian Zhou, Jianjian Sun, Kaijun Tan, Kang An, Kangheng Lin, Liang Zhao, Mei Chen, Peng Xing, Rui Wang, Shiyu Liu, Shutao Xia, Tianhao You, Wei Ji, Xianfang Zeng, Xin Han, Xuelin Zhang, Yana Wei, Yanming Xu, Yimin Jiang, Yingming Wang, Yu Zhou, Yucheng Han, Ziyang Meng, Binxing Jiao, Daxin Jiang, Xiangyu Zhang, Yibo Zhu

cs.AI

Resumen

Los modelos autorregresivos (AR) predominantes para la generación de imágenes a partir de texto dependen de modelos de difusión pesados y computacionalmente intensivos para procesar tokens de imagen continuos, o emplean cuantización vectorial (VQ) para obtener tokens discretos con pérdida de cuantización. En este artículo, avanzamos el paradigma autorregresivo con NextStep-1, un modelo autorregresivo de 14B acompañado de una cabeza de emparejamiento de flujo de 157M, entrenado con tokens de texto discretos y tokens de imagen continuos utilizando objetivos de predicción del siguiente token. NextStep-1 logra un rendimiento de vanguardia entre los modelos autorregresivos en tareas de generación de imágenes a partir de texto, demostrando una fuerte capacidad para la síntesis de imágenes de alta fidelidad. Además, nuestro método muestra un rendimiento sólido en la edición de imágenes, destacando el poder y la versatilidad de nuestro enfoque unificado. Para fomentar la investigación abierta, liberaremos nuestro código y modelos a la comunidad.

English

Prevailing autoregressive (AR) models for text-to-image generation either rely on heavy, computationally-intensive diffusion models to process continuous image tokens, or employ vector quantization (VQ) to obtain discrete tokens with quantization loss. In this paper, we push the autoregressive paradigm forward with NextStep-1, a 14B autoregressive model paired with a 157M flow matching head, training on discrete text tokens and continuous image tokens with next-token prediction objectives. NextStep-1 achieves state-of-the-art performance for autoregressive models in text-to-image generation tasks, exhibiting strong capabilities in high-fidelity image synthesis. Furthermore, our method shows strong performance in image editing, highlighting the power and versatility of our unified approach. To facilitate open research, we will release our code and models to the community.