AudioToken : Adaptation des modèles de diffusion conditionnés par le texte pour la génération d'images à partir de l'audio

AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation

May 22, 2023

Auteurs: Guy Yariv, Itai Gat, Lior Wolf, Yossi Adi, Idan Schwartz

cs.AI

Résumé

Ces dernières années, la génération d'images a connu un bond significatif en termes de performances, où les modèles de diffusion jouent un rôle central. Bien que ces modèles produisent des images de haute qualité, ils sont principalement conditionnés par des descriptions textuelles. Cela soulève la question : "comment pouvons-nous adapter ces modèles pour qu'ils soient conditionnés par d'autres modalités ?". Dans cet article, nous proposons une nouvelle méthode utilisant des modèles de diffusion latents entraînés pour la génération d'images à partir de texte afin de générer des images conditionnées par des enregistrements audio. En utilisant un modèle de codage audio pré-entraîné, la méthode proposée encode l'audio en un nouveau jeton, qui peut être considéré comme une couche d'adaptation entre les représentations audio et textuelles. Un tel paradigme de modélisation nécessite un nombre réduit de paramètres entraînables, rendant l'approche proposée attrayante pour une optimisation légère. Les résultats suggèrent que la méthode proposée est supérieure aux méthodes de référence évaluées, en considérant à la fois des métriques objectives et subjectives. Le code et des échantillons sont disponibles à l'adresse suivante : https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.

English

In recent years, image generation has shown a great leap in performance, where diffusion models play a central role. Although generating high-quality images, such models are mainly conditioned on textual descriptions. This begs the question: "how can we adopt such models to be conditioned on other modalities?". In this paper, we propose a novel method utilizing latent diffusion models trained for text-to-image-generation to generate images conditioned on audio recordings. Using a pre-trained audio encoding model, the proposed method encodes audio into a new token, which can be considered as an adaptation layer between the audio and text representations. Such a modeling paradigm requires a small number of trainable parameters, making the proposed approach appealing for lightweight optimization. Results suggest the proposed method is superior to the evaluated baseline methods, considering objective and subjective metrics. Code and samples are available at: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.