STARFlow2: Unindo modelos de linguagem e fluxos normalizadores para geração multimodal unificada

Resumo

Modelos generativos profundos avançaram rapidamente em texto e visão, motivando sistemas multimodais unificados capazes de compreender, raciocinar e gerar sequências intercaladas de texto e imagem. A maioria das abordagens existentes combina modelagem autorregressiva de linguagem com geradores de imagem baseados em difusão, herdando uma incompatibilidade estrutural entre a geração causal de texto e a remoção de ruído visual iterativa. Observamos que fluxos normalizadores autorregressivos são Transformers autorregressivos—compartilhando a mesma máscara causal, mecanismo de cache KV e estrutura da esquerda para a direita que os LLMs—tornando-os o paradigma mais natural para a verdadeira geração multimodal unificada. Apresentamos o STARFlow2, construído sobre a arquitetura Pretzel que intercala verticalmente um fluxo VLM pré-treinado com um fluxo TarFlow por meio de conexões de salto residuais, ambos operando sob a mesma máscara causal. Combinado com um design de fluxo profundo-raso e um espaço latente FAE unificado, o STARFlow2 permite geração intercalada compatível com cache, onde tanto saídas de texto quanto visuais entram diretamente no cache KV sem necessidade de recodificação. Experimentos demonstram desempenho robusto em benchmarks de geração de imagem e compreensão multimodal, validando fluxos autorregressivos como uma base viável para modelagem multimodal unificada.

English

Deep generative models have advanced rapidly across text and vision, motivating unified multimodal systems that can understand, reason over, and generate interleaved text-image sequences. Most existing approaches combine autoregressive language modeling with diffusion-based image generators, inheriting a structural mismatch between causal text generation and iterative visual denoising. We observe that autoregressive normalizing flows are autoregressive Transformers--sharing the same causal mask, KV-cache mechanism, and left-to-right structure as LLMs--making them the most natural paradigm for true unified multimodal generation. We present STARFlow2, built on the Pretzel architecture that vertically interleaves a pretrained VLM stream with a TarFlow stream via residual skip connections, both operating under the same causal mask. Combined with a deep-shallow flow design and a unified FAE latent space, STARFlow2 enables cache-friendly interleaved generation where both text and visual outputs directly enter the KV-cache without re-encoding. Experiments demonstrate strong performance across image generation and multimodal understanding benchmarks, validating autoregressive flows as a viable foundation for unified multimodal modeling.