OmniFlow : Génération de tout à tout avec des flux rectifiés multi-modaux.

OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows

December 2, 2024

Auteurs: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Zichun Liao, Yusuke Kato, Kazuki Kozuka, Aditya Grover

cs.AI

Résumé

Nous présentons OmniFlow, un nouveau modèle génératif conçu pour des tâches de génération de tout type, telles que texte-vers-image, texte-vers-audio et audio-vers-image. OmniFlow fait progresser le cadre de flux rectifié (RF) utilisé dans les modèles texte-vers-image pour traiter la distribution conjointe de multiples modalités. Il surpasse les modèles tout-type précédents sur un large éventail de tâches, telles que la synthèse texte-vers-image et texte-vers-audio. Notre travail offre trois contributions clés : Premièrement, nous étendons RF à un cadre multi-modal et introduisons un nouveau mécanisme de guidage, permettant aux utilisateurs de contrôler de manière flexible l'alignement entre différentes modalités dans les sorties générées. Deuxièmement, nous proposons une architecture novatrice qui étend l'architecture MMDiT texte-vers-image de Stable Diffusion 3 et permet la génération audio et textuelle. Les modules étendus peuvent être pré-entraînés individuellement de manière efficace et fusionnés avec le MMDiT texte-vers-image de base pour un affinage. Enfin, nous menons une étude approfondie sur les choix de conception des transformateurs de flux rectifié pour la génération audio et textuelle à grande échelle, fournissant des perspectives précieuses pour optimiser les performances à travers diverses modalités. Le code sera disponible sur https://github.com/jacklishufan/OmniFlows.

English

We introduce OmniFlow, a novel generative model designed for any-to-any generation tasks such as text-to-image, text-to-audio, and audio-to-image synthesis. OmniFlow advances the rectified flow (RF) framework used in text-to-image models to handle the joint distribution of multiple modalities. It outperforms previous any-to-any models on a wide range of tasks, such as text-to-image and text-to-audio synthesis. Our work offers three key contributions: First, we extend RF to a multi-modal setting and introduce a novel guidance mechanism, enabling users to flexibly control the alignment between different modalities in the generated outputs. Second, we propose a novel architecture that extends the text-to-image MMDiT architecture of Stable Diffusion 3 and enables audio and text generation. The extended modules can be efficiently pretrained individually and merged with the vanilla text-to-image MMDiT for fine-tuning. Lastly, we conduct a comprehensive study on the design choices of rectified flow transformers for large-scale audio and text generation, providing valuable insights into optimizing performance across diverse modalities. The Code will be available at https://github.com/jacklishufan/OmniFlows.