OneFlow: Generación Concurrente Multimodal e Intercalada con Flujos de Edición

OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows

October 3, 2025

Autores: John Nguyen, Marton Havasi, Tariq Berrada, Luke Zettlemoyer, Ricky T. Q. Chen

cs.AI

Resumen

Presentamos OneFlow, el primer modelo multimodal no autorregresivo que permite la generación concurrente y de longitud variable con modalidades mixtas. A diferencia de los modelos autorregresivos que imponen un orden causal rígido entre la generación de texto e imágenes, OneFlow combina un Edit Flow basado en inserciones para tokens de texto discretos con Flow Matching para latentes de imagen. OneFlow permite la síntesis concurrente de texto e imágenes mediante un muestreo jerárquico que prioriza el contenido sobre la gramática. A través de experimentos controlados en tamaños de modelo que van desde 1B hasta 8B, demostramos que OneFlow supera a los modelos autorregresivos de referencia tanto en tareas de generación como de comprensión, utilizando hasta un 50% menos de FLOPs de entrenamiento. OneFlow supera tanto a enfoques autorregresivos como basados en difusión, al tiempo que desbloquea nuevas capacidades para la generación concurrente, el refinamiento iterativo y la generación con un razonamiento similar al natural.

English

We present OneFlow, the first non-autoregressive multimodal model that enables variable-length and concurrent mixed-modal generation. Unlike autoregressive models that enforce rigid causal ordering between text and image generation, OneFlow combines an insertion-based Edit Flow for discrete text tokens with Flow Matching for image latents. OneFlow enables concurrent text-image synthesis with hierarchical sampling that prioritizes content over grammar. Through controlled experiments across model sizes from 1B to 8B, we demonstrate that OneFlow outperforms autoregressive baselines on both generation and understanding tasks while using up to 50% fewer training FLOPs. OneFlow surpasses both autoregressive and diffusion-based approaches while unlocking new capabilities for concurrent generation, iterative refinement, and natural reasoning-like generation.