NextStep-1: К авторегрессионной генерации изображений с использованием непрерывных токенов в масштабе
NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale
August 14, 2025
Авторы: NextStep Team, Chunrui Han, Guopeng Li, Jingwei Wu, Quan Sun, Yan Cai, Yuang Peng, Zheng Ge, Deyu Zhou, Haomiao Tang, Hongyu Zhou, Kenkun Liu, Ailin Huang, Bin Wang, Changxin Miao, Deshan Sun, En Yu, Fukun Yin, Gang Yu, Hao Nie, Haoran Lv, Hanpeng Hu, Jia Wang, Jian Zhou, Jianjian Sun, Kaijun Tan, Kang An, Kangheng Lin, Liang Zhao, Mei Chen, Peng Xing, Rui Wang, Shiyu Liu, Shutao Xia, Tianhao You, Wei Ji, Xianfang Zeng, Xin Han, Xuelin Zhang, Yana Wei, Yanming Xu, Yimin Jiang, Yingming Wang, Yu Zhou, Yucheng Han, Ziyang Meng, Binxing Jiao, Daxin Jiang, Xiangyu Zhang, Yibo Zhu
cs.AI
Аннотация
Преобладающие авторегрессивные (AR) модели для генерации изображений по тексту либо полагаются на ресурсоемкие, вычислительно сложные диффузионные модели для обработки непрерывных токенов изображений, либо используют векторное квантование (VQ) для получения дискретных токенов с потерями при квантовании. В данной статье мы продвигаем авторегрессивную парадигму вперед с помощью модели NextStep-1, представляющей собой 14-миллиардную авторегрессивную модель, объединенную с 157-миллионным блоком согласования потоков, которая обучается на дискретных текстовых токенах и непрерывных токенах изображений с использованием задачи предсказания следующего токена. NextStep-1 демонстрирует наилучшие результаты среди авторегрессивных моделей в задачах генерации изображений по тексту, показывая высокие возможности в создании изображений с высокой точностью. Кроме того, наш метод демонстрирует отличные результаты в редактировании изображений, подчеркивая мощность и универсальность нашего единого подхода. Для содействия открытым исследованиям мы опубликуем наш код и модели для сообщества.
English
Prevailing autoregressive (AR) models for text-to-image generation either
rely on heavy, computationally-intensive diffusion models to process continuous
image tokens, or employ vector quantization (VQ) to obtain discrete tokens with
quantization loss. In this paper, we push the autoregressive paradigm forward
with NextStep-1, a 14B autoregressive model paired with a 157M flow matching
head, training on discrete text tokens and continuous image tokens with
next-token prediction objectives. NextStep-1 achieves state-of-the-art
performance for autoregressive models in text-to-image generation tasks,
exhibiting strong capabilities in high-fidelity image synthesis. Furthermore,
our method shows strong performance in image editing, highlighting the power
and versatility of our unified approach. To facilitate open research, we will
release our code and models to the community.