AudioToken: Adaptação de Modelos de Difusão Condicionados por Texto para Geração de Áudio para Imagem

AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation

May 22, 2023

Autores: Guy Yariv, Itai Gat, Lior Wolf, Yossi Adi, Idan Schwartz

cs.AI

Resumo

Nos últimos anos, a geração de imagens apresentou um grande salto em desempenho, com os modelos de difusão desempenhando um papel central. Embora gerem imagens de alta qualidade, esses modelos são principalmente condicionados por descrições textuais. Isso levanta a questão: "como podemos adaptar esses modelos para serem condicionados por outras modalidades?". Neste artigo, propomos um novo método que utiliza modelos de difusão latente treinados para geração de texto para imagem para gerar imagens condicionadas por gravações de áudio. Usando um modelo de codificação de áudio pré-treinado, o método proposto codifica o áudio em um novo token, que pode ser considerado como uma camada de adaptação entre as representações de áudio e texto. Esse paradigma de modelagem requer um número reduzido de parâmetros treináveis, tornando a abordagem proposta atraente para otimização leve. Os resultados sugerem que o método proposto é superior aos métodos de linha de base avaliados, considerando métricas objetivas e subjetivas. O código e as amostras estão disponíveis em: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.

English

In recent years, image generation has shown a great leap in performance, where diffusion models play a central role. Although generating high-quality images, such models are mainly conditioned on textual descriptions. This begs the question: "how can we adopt such models to be conditioned on other modalities?". In this paper, we propose a novel method utilizing latent diffusion models trained for text-to-image-generation to generate images conditioned on audio recordings. Using a pre-trained audio encoding model, the proposed method encodes audio into a new token, which can be considered as an adaptation layer between the audio and text representations. Such a modeling paradigm requires a small number of trainable parameters, making the proposed approach appealing for lightweight optimization. Results suggest the proposed method is superior to the evaluated baseline methods, considering objective and subjective metrics. Code and samples are available at: https://pages.cs.huji.ac.il/adiyoss-lab/AudioToken.