AudioToken: Aanpassing van tekstgeconditioneerde diffusiemodellen voor audio-naar-beeldgeneratie

AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation

May 22, 2023

Auteurs: Guy Yariv, Itai Gat, Lior Wolf, Yossi Adi, Idan Schwartz

cs.AI

Samenvatting

In de afgelopen jaren heeft beeldgeneratie een grote sprong voorwaarts gemaakt in prestaties, waarbij diffusiemodellen een centrale rol spelen. Hoewel deze modellen hoogwaardige beelden genereren, zijn ze voornamelijk gebaseerd op tekstuele beschrijvingen. Dit roept de vraag op: "hoe kunnen we dergelijke modellen aanpassen om te worden gebaseerd op andere modaliteiten?". In dit artikel stellen we een nieuwe methode voor die gebruikmaakt van latente diffusiemodellen die zijn getraind voor tekst-naar-beeldgeneratie om beelden te genereren die gebaseerd zijn op audio-opnames. Met behulp van een vooraf getraind audio-encoderingsmodel codeert de voorgestelde methode audio in een nieuwe token, die kan worden beschouwd als een aanpassingslaag tussen de audio- en tekstrepresentaties. Een dergelijk modelparadigma vereist een klein aantal trainbare parameters, waardoor de voorgestelde aanpak aantrekkelijk is voor lichtgewicht optimalisatie. De resultaten suggereren dat de voorgestelde methode superieur is aan de geëvalueerde baseline-methoden, zowel wat betreft objectieve als subjectieve metrieken. Code en voorbeelden zijn beschikbaar op: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.

English

In recent years, image generation has shown a great leap in performance, where diffusion models play a central role. Although generating high-quality images, such models are mainly conditioned on textual descriptions. This begs the question: "how can we adopt such models to be conditioned on other modalities?". In this paper, we propose a novel method utilizing latent diffusion models trained for text-to-image-generation to generate images conditioned on audio recordings. Using a pre-trained audio encoding model, the proposed method encodes audio into a new token, which can be considered as an adaptation layer between the audio and text representations. Such a modeling paradigm requires a small number of trainable parameters, making the proposed approach appealing for lightweight optimization. Results suggest the proposed method is superior to the evaluated baseline methods, considering objective and subjective metrics. Code and samples are available at: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.