AudioToken: Anpassung von textkonditionierten Diffusionsmodellen für die Audio-zu-Bild-Generierung
AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation
May 22, 2023
Autoren: Guy Yariv, Itai Gat, Lior Wolf, Yossi Adi, Idan Schwartz
cs.AI
Zusammenfassung
In den letzten Jahren hat die Bildgenerierung einen erheblichen Leistungssprung gezeigt, wobei Diffusionsmodelle eine zentrale Rolle spielen. Obwohl diese Modelle hochwertige Bilder erzeugen, basieren sie hauptsächlich auf textuellen Beschreibungen. Dies wirft die Frage auf: „Wie können wir solche Modelle so anpassen, dass sie auf andere Modalitäten konditioniert sind?“. In diesem Artikel schlagen wir eine neuartige Methode vor, die latente Diffusionsmodelle, die für die Text-zu-Bild-Generierung trainiert wurden, nutzt, um Bilder auf Basis von Audioaufnahmen zu erzeugen. Unter Verwendung eines vortrainierten Audio-Encodierungsmodells codiert die vorgeschlagene Methode Audio in ein neues Token, das als Anpassungsschicht zwischen den Audio- und Textrepräsentationen betrachtet werden kann. Ein solches Modellierungsparadigma erfordert nur eine geringe Anzahl trainierbarer Parameter, was den vorgeschlagenen Ansatz für eine ressourcenschonende Optimierung attraktiv macht. Die Ergebnisse deuten darauf hin, dass die vorgeschlagene Methode den bewerteten Baseline-Methoden überlegen ist, sowohl in Bezug auf objektive als auch subjektive Metriken. Code und Beispiele sind verfügbar unter: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.
English
In recent years, image generation has shown a great leap in performance,
where diffusion models play a central role. Although generating high-quality
images, such models are mainly conditioned on textual descriptions. This begs
the question: "how can we adopt such models to be conditioned on other
modalities?". In this paper, we propose a novel method utilizing latent
diffusion models trained for text-to-image-generation to generate images
conditioned on audio recordings. Using a pre-trained audio encoding model, the
proposed method encodes audio into a new token, which can be considered as an
adaptation layer between the audio and text representations. Such a modeling
paradigm requires a small number of trainable parameters, making the proposed
approach appealing for lightweight optimization. Results suggest the proposed
method is superior to the evaluated baseline methods, considering objective and
subjective metrics. Code and samples are available at:
https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.