Generazione Testo-Audio Potenziata dal Recupero di Informazioni

Retrieval-Augmented Text-to-Audio Generation

September 14, 2023

Autori: Yi Yuan, Haohe Liu, Xubo Liu, Qiushi Huang, Mark D. Plumbley, Wenwu Wang

cs.AI

Abstract

Nonostante i recenti progressi nella generazione testo-audio (TTA), dimostriamo che i modelli all'avanguardia, come AudioLDM, addestrati su dataset con una distribuzione di classi sbilanciata, come AudioCaps, presentano un bias nelle prestazioni di generazione. In particolare, eccellono nella generazione di classi audio comuni mentre hanno prestazioni inferiori per quelle rare, degradando così le prestazioni complessive di generazione. Definiamo questo problema come generazione testo-audio a coda lunga. Per affrontare questa questione, proponiamo un semplice approccio basato sul retrieval per i modelli TTA. Nello specifico, dato un prompt di testo in input, sfruttiamo prima un modello Contrastive Language Audio Pretraining (CLAP) per recuperare coppie testo-audio rilevanti. Le caratteristiche dei dati audio-testo recuperati vengono poi utilizzate come condizioni aggiuntive per guidare l'apprendimento dei modelli TTA. Abbiamo potenziato AudioLDM con il nostro approccio proposto e denominiamo il sistema risultante come Re-AudioLDM. Sul dataset AudioCaps, Re-AudioLDM raggiunge una distanza di Frechet Audio (FAD) all'avanguardia di 1.37, superando di gran lunga gli approcci esistenti. Inoltre, dimostriamo che Re-AudioLDM può generare audio realistico per scene complesse, classi audio rare e persino tipi di audio mai visti, indicando il suo potenziale nei compiti TTA.

English

Despite recent progress in text-to-audio (TTA) generation, we show that the state-of-the-art models, such as AudioLDM, trained on datasets with an imbalanced class distribution, such as AudioCaps, are biased in their generation performance. Specifically, they excel in generating common audio classes while underperforming in the rare ones, thus degrading the overall generation performance. We refer to this problem as long-tailed text-to-audio generation. To address this issue, we propose a simple retrieval-augmented approach for TTA models. Specifically, given an input text prompt, we first leverage a Contrastive Language Audio Pretraining (CLAP) model to retrieve relevant text-audio pairs. The features of the retrieved audio-text data are then used as additional conditions to guide the learning of TTA models. We enhance AudioLDM with our proposed approach and denote the resulting augmented system as Re-AudioLDM. On the AudioCaps dataset, Re-AudioLDM achieves a state-of-the-art Frechet Audio Distance (FAD) of 1.37, outperforming the existing approaches by a large margin. Furthermore, we show that Re-AudioLDM can generate realistic audio for complex scenes, rare audio classes, and even unseen audio types, indicating its potential in TTA tasks.