OneFlow: Generazione Concorrente Modale Mista e Intervallata con Flussi di Modifica

OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows

October 3, 2025

Autori: John Nguyen, Marton Havasi, Tariq Berrada, Luke Zettlemoyer, Ricky T. Q. Chen

cs.AI

Abstract

Presentiamo OneFlow, il primo modello multimodale non autoregressivo che consente la generazione concorrente e a lunghezza variabile di contenuti misti. A differenza dei modelli autoregressivi che impongono un rigido ordinamento causale tra la generazione di testo e immagini, OneFlow combina un Edit Flow basato su inserzioni per i token testuali discreti con il Flow Matching per i latenti delle immagini. OneFlow abilita la sintesi concorrente di testo e immagini attraverso un campionamento gerarchico che privilegia il contenuto rispetto alla grammatica. Attraverso esperimenti controllati su dimensioni del modello che vanno da 1B a 8B, dimostriamo che OneFlow supera i modelli di riferimento autoregressivi sia nei compiti di generazione che di comprensione, utilizzando fino al 50% in meno di FLOPs di addestramento. OneFlow supera sia gli approcci autoregressivi che quelli basati sulla diffusione, sbloccando nuove capacità per la generazione concorrente, il raffinamento iterativo e la generazione simile al ragionamento naturale.

English

We present OneFlow, the first non-autoregressive multimodal model that enables variable-length and concurrent mixed-modal generation. Unlike autoregressive models that enforce rigid causal ordering between text and image generation, OneFlow combines an insertion-based Edit Flow for discrete text tokens with Flow Matching for image latents. OneFlow enables concurrent text-image synthesis with hierarchical sampling that prioritizes content over grammar. Through controlled experiments across model sizes from 1B to 8B, we demonstrate that OneFlow outperforms autoregressive baselines on both generation and understanding tasks while using up to 50% fewer training FLOPs. OneFlow surpasses both autoregressive and diffusion-based approaches while unlocking new capabilities for concurrent generation, iterative refinement, and natural reasoning-like generation.