Geração de Áudio a partir de Texto Aumentada por Recuperação

Retrieval-Augmented Text-to-Audio Generation

September 14, 2023

Autores: Yi Yuan, Haohe Liu, Xubo Liu, Qiushi Huang, Mark D. Plumbley, Wenwu Wang

cs.AI

Resumo

Apesar dos recentes avanços na geração de texto para áudio (TTA), mostramos que os modelos de última geração, como o AudioLDM, treinados em conjuntos de dados com distribuição de classes desequilibrada, como o AudioCaps, apresentam viés em seu desempenho de geração. Especificamente, eles se destacam na geração de classes de áudio comuns, mas têm desempenho inferior nas classes raras, degradando assim o desempenho geral de geração. Referimo-nos a esse problema como geração de texto para áudio de cauda longa. Para abordar essa questão, propomos uma abordagem simples de aumento por recuperação para modelos TTA. Especificamente, dado um prompt de texto de entrada, primeiro utilizamos um modelo de Pré-treinamento de Áudio e Linguagem Contrastiva (CLAP) para recuperar pares texto-áudio relevantes. As características dos dados de áudio-texto recuperados são então usadas como condições adicionais para orientar o aprendizado dos modelos TTA. Aprimoramos o AudioLDM com nossa abordagem proposta e denominamos o sistema resultante como Re-AudioLDM. No conjunto de dados AudioCaps, o Re-AudioLDM alcança uma Distância de Áudio Fréchet (FAD) de última geração de 1,37, superando as abordagens existentes por uma grande margem. Além disso, mostramos que o Re-AudioLDM pode gerar áudio realista para cenas complexas, classes de áudio raras e até mesmo tipos de áudio não vistos, indicando seu potencial em tarefas TTA.

English

Despite recent progress in text-to-audio (TTA) generation, we show that the state-of-the-art models, such as AudioLDM, trained on datasets with an imbalanced class distribution, such as AudioCaps, are biased in their generation performance. Specifically, they excel in generating common audio classes while underperforming in the rare ones, thus degrading the overall generation performance. We refer to this problem as long-tailed text-to-audio generation. To address this issue, we propose a simple retrieval-augmented approach for TTA models. Specifically, given an input text prompt, we first leverage a Contrastive Language Audio Pretraining (CLAP) model to retrieve relevant text-audio pairs. The features of the retrieved audio-text data are then used as additional conditions to guide the learning of TTA models. We enhance AudioLDM with our proposed approach and denote the resulting augmented system as Re-AudioLDM. On the AudioCaps dataset, Re-AudioLDM achieves a state-of-the-art Frechet Audio Distance (FAD) of 1.37, outperforming the existing approaches by a large margin. Furthermore, we show that Re-AudioLDM can generate realistic audio for complex scenes, rare audio classes, and even unseen audio types, indicating its potential in TTA tasks.