STARFlow2: Bruggen bouwen tussen taalmodellen en normaliserende stromen voor geünificeerde multimodale generatie

Samenvatting

Diepe generatieve modellen hebben zich snel ontwikkeld op het gebied van tekst en beeld, wat aanleiding geeft tot uniforme multimodale systemen die interleaved tekst-beeldsequenties kunnen begrijpen, redeneren en genereren. De meeste bestaande benaderingen combineren autoregressieve taalmodelle ring met diffusiegebaseerde beeldgeneratoren, waarbij een structurele mismatch ontstaat tussen causale tekstgeneratie en iteratieve visuele ruisonderdrukking. Wij stellen vast dat autoregressieve normalisatiestromen autoregressieve Transformers zijn – die dezelfde causale masker, KV-cachemechanisme en links-naar-rechtsstructuur delen als LLM's – wat ze het meest natuurlijke paradigma maakt voor echte uniforme multimodale generatie. We presenteren STARFlow2, gebouwd op de Pretzel-architectuur die een voorgetrainde VLM-stroom verticaal verweeft met een TarFlow-stroom via residuele skip-verbindingen, beide werkend onder hetzelfde causale masker. In combinatie met een diep-ondiepe stromingsontwerp en een uniforme FAE-latente ruimte maakt STARFlow2 cache-vriendelijke interleaved generatie mogelijk, waarbij zowel tekst- als visuele outputs direct de KV-cache ingaan zonder hercodering. Experimenten tonen sterke prestaties aan op benchmarks voor beeldgeneratie en multimodaal begrip, waarmee autoregressieve stromen worden gevalideerd als een levensvatbare basis voor uniforme multimodale modellering.

English

Deep generative models have advanced rapidly across text and vision, motivating unified multimodal systems that can understand, reason over, and generate interleaved text-image sequences. Most existing approaches combine autoregressive language modeling with diffusion-based image generators, inheriting a structural mismatch between causal text generation and iterative visual denoising. We observe that autoregressive normalizing flows are autoregressive Transformers--sharing the same causal mask, KV-cache mechanism, and left-to-right structure as LLMs--making them the most natural paradigm for true unified multimodal generation. We present STARFlow2, built on the Pretzel architecture that vertically interleaves a pretrained VLM stream with a TarFlow stream via residual skip connections, both operating under the same causal mask. Combined with a deep-shallow flow design and a unified FAE latent space, STARFlow2 enables cache-friendly interleaved generation where both text and visual outputs directly enter the KV-cache without re-encoding. Experiments demonstrate strong performance across image generation and multimodal understanding benchmarks, validating autoregressive flows as a viable foundation for unified multimodal modeling.