OmniFlow: Generierung von beliebigen zu beliebigen mit Multi-Modalen rektifizierten Flüssen

OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows

December 2, 2024

Autoren: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Zichun Liao, Yusuke Kato, Kazuki Kozuka, Aditya Grover

cs.AI

Zusammenfassung

Wir stellen OmniFlow vor, ein neuartiges generatives Modell, das für Aufgaben der beliebigen Generierung wie Text-zu-Bild, Text-zu-Audio und Audio-zu-Bild-Synthese entwickelt wurde. OmniFlow erweitert das rektifizierte Fluss (RF) Framework, das in Text-zu-Bild-Modellen verwendet wird, um die gemeinsame Verteilung mehrerer Modalitäten zu handhaben. Es übertrifft frühere beliebig-generierende Modelle in einer Vielzahl von Aufgaben, wie Text-zu-Bild- und Text-zu-Audio-Synthese. Unsere Arbeit bietet drei wesentliche Beiträge: Erstens erweitern wir RF auf eine Multi-Modalitätseinstellung und führen einen neuartigen Leitmechanismus ein, der es Benutzern ermöglicht, die Ausrichtung zwischen verschiedenen Modalitäten in den generierten Ausgaben flexibel zu steuern. Zweitens schlagen wir eine neue Architektur vor, die die Text-zu-Bild-MMDiT-Architektur von Stable Diffusion 3 erweitert und Audio- und Textgenerierung ermöglicht. Die erweiterten Module können effizient einzeln vorab trainiert und mit dem herkömmlichen Text-zu-Bild-MMDiT zur Feinabstimmung fusioniert werden. Schließlich führen wir eine umfassende Studie zu den Designentscheidungen von rektifizierten Fluss-Transformern für die groß angelegte Audio- und Textgenerierung durch und bieten wertvolle Einblicke in die Optimierung der Leistung über verschiedene Modalitäten hinweg. Der Code wird unter https://github.com/jacklishufan/OmniFlows verfügbar sein.

English

We introduce OmniFlow, a novel generative model designed for any-to-any generation tasks such as text-to-image, text-to-audio, and audio-to-image synthesis. OmniFlow advances the rectified flow (RF) framework used in text-to-image models to handle the joint distribution of multiple modalities. It outperforms previous any-to-any models on a wide range of tasks, such as text-to-image and text-to-audio synthesis. Our work offers three key contributions: First, we extend RF to a multi-modal setting and introduce a novel guidance mechanism, enabling users to flexibly control the alignment between different modalities in the generated outputs. Second, we propose a novel architecture that extends the text-to-image MMDiT architecture of Stable Diffusion 3 and enables audio and text generation. The extended modules can be efficiently pretrained individually and merged with the vanilla text-to-image MMDiT for fine-tuning. Lastly, we conduct a comprehensive study on the design choices of rectified flow transformers for large-scale audio and text generation, providing valuable insights into optimizing performance across diverse modalities. The Code will be available at https://github.com/jacklishufan/OmniFlows.