STARFlow2: Связывание языковых моделей и нормализующих потоков для унифицированной мультимодальной генерации
STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation
May 8, 2026
Авторы: Ying Shen, Tianrong Chen, Yuan Gao, Yizhe Zhang, Yuyang Wang, Miguel Ángel Bautista, Shuangfei Zhai, Joshua M. Susskind, Jiatao Gu
cs.AI
Аннотация
Глубинные генеративные модели достигли значительного прогресса в области текста и изображений, стимулируя создание унифицированных мультимодальных систем, способных понимать, рассуждать и генерировать перемежающиеся последовательности текста и изображений. Большинство существующих подходов объединяют авторегрессионное языковое моделирование с диффузионными генераторами изображений, наследуя структурное несоответствие между каузальной генерацией текста и итеративным визуальным шумоподавлением. Мы отмечаем, что авторегрессионные нормализующие потоки являются авторегрессионными трансформерами, разделяющими ту же каузальную маску, механизм KV-кэша и структуру слева направо, что и LLM, что делает их наиболее естественной парадигмой для истинной унифицированной мультимодальной генерации. Мы представляем STARFlow2, построенный на архитектуре Pretzel, которая вертикально перемежает предварительно обученный поток VLM с потоком TarFlow посредством остаточных пропускных соединений, при этом оба работают под одной каузальной маской. В сочетании с конструкцией глубоко-мелкого потока и унифицированным латентным пространством FAE, STARFlow2 обеспечивает кэш-дружественную перемежающуюся генерацию, в которой как текстовые, так и визуальные выходы напрямую поступают в KV-кэш без повторного кодирования. Эксперименты демонстрируют высокую производительность на бенчмарках генерации изображений и мультимодального понимания, подтверждая авторегрессионные потоки как жизнеспособную основу для унифицированного мультимодального моделирования.
English
Deep generative models have advanced rapidly across text and vision, motivating unified multimodal systems that can understand, reason over, and generate interleaved text-image sequences. Most existing approaches combine autoregressive language modeling with diffusion-based image generators, inheriting a structural mismatch between causal text generation and iterative visual denoising. We observe that autoregressive normalizing flows are autoregressive Transformers--sharing the same causal mask, KV-cache mechanism, and left-to-right structure as LLMs--making them the most natural paradigm for true unified multimodal generation. We present STARFlow2, built on the Pretzel architecture that vertically interleaves a pretrained VLM stream with a TarFlow stream via residual skip connections, both operating under the same causal mask. Combined with a deep-shallow flow design and a unified FAE latent space, STARFlow2 enables cache-friendly interleaved generation where both text and visual outputs directly enter the KV-cache without re-encoding. Experiments demonstrate strong performance across image generation and multimodal understanding benchmarks, validating autoregressive flows as a viable foundation for unified multimodal modeling.