OmniFlow: Generatie van elk naar elk met multi-modale gerechtvaardigde stromen

OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows

December 2, 2024

Auteurs: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Zichun Liao, Yusuke Kato, Kazuki Kozuka, Aditya Grover

cs.AI

Samenvatting

Wij introduceren OmniFlow, een nieuw generatief model ontworpen voor taken van elk-naar-elk generatie zoals tekst-naar-afbeelding, tekst-naar-audio, en audio-naar-afbeelding synthese. OmniFlow verbetert het rectified flow (RF) framework dat gebruikt wordt in tekst-naar-afbeelding modellen om de gezamenlijke verdeling van meerdere modaliteiten te behandelen. Het presteert beter dan eerdere elk-naar-elk modellen op een breed scala van taken, zoals tekst-naar-afbeelding en tekst-naar-audio synthese. Ons werk biedt drie belangrijke bijdragen: Ten eerste breiden we RF uit naar een multi-modale setting en introduceren een nieuw begeleidingsmechanisme, waardoor gebruikers flexibel de uitlijning tussen verschillende modaliteiten in de gegenereerde uitvoer kunnen controleren. Ten tweede stellen we een nieuw architectuur voor die de tekst-naar-afbeelding MMDiT architectuur van Stable Diffusion 3 uitbreidt en audio- en tekstgeneratie mogelijk maakt. De uitgebreide modules kunnen efficiënt individueel worden voorgeleerd en samengevoegd worden met de standaard tekst-naar-afbeelding MMDiT voor fijnafstemming. Ten slotte voeren we een uitgebreide studie uit naar de ontwerpkeuzes van rectified flow transformers voor grootschalige audio- en tekstgeneratie, waarbij waardevolle inzichten worden geboden in het optimaliseren van prestaties over diverse modaliteiten. De Code zal beschikbaar zijn op https://github.com/jacklishufan/OmniFlows.

English

We introduce OmniFlow, a novel generative model designed for any-to-any generation tasks such as text-to-image, text-to-audio, and audio-to-image synthesis. OmniFlow advances the rectified flow (RF) framework used in text-to-image models to handle the joint distribution of multiple modalities. It outperforms previous any-to-any models on a wide range of tasks, such as text-to-image and text-to-audio synthesis. Our work offers three key contributions: First, we extend RF to a multi-modal setting and introduce a novel guidance mechanism, enabling users to flexibly control the alignment between different modalities in the generated outputs. Second, we propose a novel architecture that extends the text-to-image MMDiT architecture of Stable Diffusion 3 and enables audio and text generation. The extended modules can be efficiently pretrained individually and merged with the vanilla text-to-image MMDiT for fine-tuning. Lastly, we conduct a comprehensive study on the design choices of rectified flow transformers for large-scale audio and text generation, providing valuable insights into optimizing performance across diverse modalities. The Code will be available at https://github.com/jacklishufan/OmniFlows.