OmniFlow: Generatie van elk naar elk met multi-modale gerechtvaardigde stromen
OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows
December 2, 2024
Auteurs: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Zichun Liao, Yusuke Kato, Kazuki Kozuka, Aditya Grover
cs.AI
Samenvatting
Wij introduceren OmniFlow, een nieuw generatief model ontworpen voor taken van elk-naar-elk generatie zoals tekst-naar-afbeelding, tekst-naar-audio, en audio-naar-afbeelding synthese. OmniFlow verbetert het rectified flow (RF) framework dat gebruikt wordt in tekst-naar-afbeelding modellen om de gezamenlijke verdeling van meerdere modaliteiten te behandelen. Het presteert beter dan eerdere elk-naar-elk modellen op een breed scala van taken, zoals tekst-naar-afbeelding en tekst-naar-audio synthese. Ons werk biedt drie belangrijke bijdragen: Ten eerste breiden we RF uit naar een multi-modale setting en introduceren een nieuw begeleidingsmechanisme, waardoor gebruikers flexibel de uitlijning tussen verschillende modaliteiten in de gegenereerde uitvoer kunnen controleren. Ten tweede stellen we een nieuw architectuur voor die de tekst-naar-afbeelding MMDiT architectuur van Stable Diffusion 3 uitbreidt en audio- en tekstgeneratie mogelijk maakt. De uitgebreide modules kunnen efficiënt individueel worden voorgeleerd en samengevoegd worden met de standaard tekst-naar-afbeelding MMDiT voor fijnafstemming. Ten slotte voeren we een uitgebreide studie uit naar de ontwerpkeuzes van rectified flow transformers voor grootschalige audio- en tekstgeneratie, waarbij waardevolle inzichten worden geboden in het optimaliseren van prestaties over diverse modaliteiten. De Code zal beschikbaar zijn op https://github.com/jacklishufan/OmniFlows.
English
We introduce OmniFlow, a novel generative model designed for any-to-any
generation tasks such as text-to-image, text-to-audio, and audio-to-image
synthesis. OmniFlow advances the rectified flow (RF) framework used in
text-to-image models to handle the joint distribution of multiple modalities.
It outperforms previous any-to-any models on a wide range of tasks, such as
text-to-image and text-to-audio synthesis. Our work offers three key
contributions: First, we extend RF to a multi-modal setting and introduce a
novel guidance mechanism, enabling users to flexibly control the alignment
between different modalities in the generated outputs. Second, we propose a
novel architecture that extends the text-to-image MMDiT architecture of Stable
Diffusion 3 and enables audio and text generation. The extended modules can be
efficiently pretrained individually and merged with the vanilla text-to-image
MMDiT for fine-tuning. Lastly, we conduct a comprehensive study on the design
choices of rectified flow transformers for large-scale audio and text
generation, providing valuable insights into optimizing performance across
diverse modalities. The Code will be available at
https://github.com/jacklishufan/OmniFlows.