ChatPaper.aiChatPaper

AudioToken: Anpassung von textkonditionierten Diffusionsmodellen für die Audio-zu-Bild-Generierung

AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation

May 22, 2023
Autoren: Guy Yariv, Itai Gat, Lior Wolf, Yossi Adi, Idan Schwartz
cs.AI

Zusammenfassung

In den letzten Jahren hat die Bildgenerierung einen erheblichen Leistungssprung gezeigt, wobei Diffusionsmodelle eine zentrale Rolle spielen. Obwohl diese Modelle hochwertige Bilder erzeugen, basieren sie hauptsächlich auf textuellen Beschreibungen. Dies wirft die Frage auf: „Wie können wir solche Modelle so anpassen, dass sie auf andere Modalitäten konditioniert sind?“. In diesem Artikel schlagen wir eine neuartige Methode vor, die latente Diffusionsmodelle, die für die Text-zu-Bild-Generierung trainiert wurden, nutzt, um Bilder auf Basis von Audioaufnahmen zu erzeugen. Unter Verwendung eines vortrainierten Audio-Encodierungsmodells codiert die vorgeschlagene Methode Audio in ein neues Token, das als Anpassungsschicht zwischen den Audio- und Textrepräsentationen betrachtet werden kann. Ein solches Modellierungsparadigma erfordert nur eine geringe Anzahl trainierbarer Parameter, was den vorgeschlagenen Ansatz für eine ressourcenschonende Optimierung attraktiv macht. Die Ergebnisse deuten darauf hin, dass die vorgeschlagene Methode den bewerteten Baseline-Methoden überlegen ist, sowohl in Bezug auf objektive als auch subjektive Metriken. Code und Beispiele sind verfügbar unter: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.
English
In recent years, image generation has shown a great leap in performance, where diffusion models play a central role. Although generating high-quality images, such models are mainly conditioned on textual descriptions. This begs the question: "how can we adopt such models to be conditioned on other modalities?". In this paper, we propose a novel method utilizing latent diffusion models trained for text-to-image-generation to generate images conditioned on audio recordings. Using a pre-trained audio encoding model, the proposed method encodes audio into a new token, which can be considered as an adaptation layer between the audio and text representations. Such a modeling paradigm requires a small number of trainable parameters, making the proposed approach appealing for lightweight optimization. Results suggest the proposed method is superior to the evaluated baseline methods, considering objective and subjective metrics. Code and samples are available at: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.
PDF32December 15, 2024