OneFlow: Gelijktijdige gemengde modale en interleaved generatie met Edit Flows

OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows

October 3, 2025

Auteurs: John Nguyen, Marton Havasi, Tariq Berrada, Luke Zettlemoyer, Ricky T. Q. Chen

cs.AI

Samenvatting

We presenteren OneFlow, het eerste niet-autoregressieve multimodale model dat variabele lengte en gelijktijdige gemengde modale generatie mogelijk maakt. In tegenstelling tot autoregressieve modellen die een strikte causale ordening tussen tekst- en beeldgeneratie afdwingen, combineert OneFlow een op insertie gebaseerde Edit Flow voor discrete teksttokens met Flow Matching voor beeldlatenten. OneFlow maakt gelijktijdige tekst-beeldsynthese mogelijk met hiërarchische sampling die inhoud boven grammatica stelt. Door middel van gecontroleerde experimenten over modelgroottes van 1B tot 8B tonen we aan dat OneFlow autoregressieve basislijnen overtreft op zowel generatie- als begripstaken, terwijl het tot 50% minder trainings-FLOPs gebruikt. OneFlow overtreft zowel autoregressieve als op diffusie gebaseerde benaderingen en ontgrendelt nieuwe mogelijkheden voor gelijktijdige generatie, iteratieve verfijning en natuurlijke, redenering-achtige generatie.

English

We present OneFlow, the first non-autoregressive multimodal model that enables variable-length and concurrent mixed-modal generation. Unlike autoregressive models that enforce rigid causal ordering between text and image generation, OneFlow combines an insertion-based Edit Flow for discrete text tokens with Flow Matching for image latents. OneFlow enables concurrent text-image synthesis with hierarchical sampling that prioritizes content over grammar. Through controlled experiments across model sizes from 1B to 8B, we demonstrate that OneFlow outperforms autoregressive baselines on both generation and understanding tasks while using up to 50% fewer training FLOPs. OneFlow surpasses both autoregressive and diffusion-based approaches while unlocking new capabilities for concurrent generation, iterative refinement, and natural reasoning-like generation.