OneFlow: Смешанная многомодальная и чередующаяся генерация с использованием потоков редактирования

OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows

October 3, 2025

Авторы: John Nguyen, Marton Havasi, Tariq Berrada, Luke Zettlemoyer, Ricky T. Q. Chen

cs.AI

Аннотация

Мы представляем OneFlow — первую неавторегрессивную мультимодальную модель, которая позволяет осуществлять генерацию переменной длины и одновременное смешанно-модальное создание. В отличие от авторегрессивных моделей, которые накладывают строгую причинно-следственную последовательность между генерацией текста и изображения, OneFlow сочетает в себе Edit Flow на основе вставок для дискретных текстовых токенов и Flow Matching для латентных представлений изображений. OneFlow обеспечивает одновременный синтез текста и изображения с использованием иерархической выборки, которая отдает приоритет содержанию перед грамматикой. В ходе контролируемых экспериментов с размерами моделей от 1B до 8B мы демонстрируем, что OneFlow превосходит авторегрессивные базовые модели как в задачах генерации, так и в задачах понимания, при этом используя до 50% меньше FLOPs для обучения. OneFlow превосходит как авторегрессивные, так и диффузионные подходы, открывая новые возможности для одновременной генерации, итеративного уточнения и генерации, напоминающей естественное рассуждение.

English

We present OneFlow, the first non-autoregressive multimodal model that enables variable-length and concurrent mixed-modal generation. Unlike autoregressive models that enforce rigid causal ordering between text and image generation, OneFlow combines an insertion-based Edit Flow for discrete text tokens with Flow Matching for image latents. OneFlow enables concurrent text-image synthesis with hierarchical sampling that prioritizes content over grammar. Through controlled experiments across model sizes from 1B to 8B, we demonstrate that OneFlow outperforms autoregressive baselines on both generation and understanding tasks while using up to 50% fewer training FLOPs. OneFlow surpasses both autoregressive and diffusion-based approaches while unlocking new capabilities for concurrent generation, iterative refinement, and natural reasoning-like generation.