OneFlow: Geração Concorrente de Modalidades Mistas e Intercaladas com Fluxos de Edição

OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows

October 3, 2025

Autores: John Nguyen, Marton Havasi, Tariq Berrada, Luke Zettlemoyer, Ricky T. Q. Chen

cs.AI

Resumo

Apresentamos o OneFlow, o primeiro modelo multimodal não autorregressivo que permite geração concorrente e de comprimento variável de modalidades mistas. Diferente dos modelos autorregressivos que impõem uma ordenação causal rígida entre a geração de texto e imagem, o OneFlow combina um Edit Flow baseado em inserção para tokens de texto discretos com Flow Matching para latentes de imagem. O OneFlow possibilita a síntese concorrente de texto e imagem com amostragem hierárquica que prioriza o conteúdo em vez da gramática. Por meio de experimentos controlados em tamanhos de modelo variando de 1B a 8B, demonstramos que o OneFlow supera as linhas de base autorregressivas tanto em tarefas de geração quanto de compreensão, utilizando até 50% menos FLOPs de treinamento. O OneFlow supera tanto abordagens autorregressivas quanto baseadas em difusão, ao mesmo tempo que desbloqueia novas capacidades para geração concorrente, refinamento iterativo e geração semelhante a raciocínio natural.

English

We present OneFlow, the first non-autoregressive multimodal model that enables variable-length and concurrent mixed-modal generation. Unlike autoregressive models that enforce rigid causal ordering between text and image generation, OneFlow combines an insertion-based Edit Flow for discrete text tokens with Flow Matching for image latents. OneFlow enables concurrent text-image synthesis with hierarchical sampling that prioritizes content over grammar. Through controlled experiments across model sizes from 1B to 8B, we demonstrate that OneFlow outperforms autoregressive baselines on both generation and understanding tasks while using up to 50% fewer training FLOPs. OneFlow surpasses both autoregressive and diffusion-based approaches while unlocking new capabilities for concurrent generation, iterative refinement, and natural reasoning-like generation.