AudioLDM 2: Apprendimento della generazione audio olistica con pretraining auto-supervisionato

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

August 10, 2023

Autori: Haohe Liu, Qiao Tian, Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

cs.AI

Abstract

Sebbene la generazione audio condivida aspetti comuni tra diversi tipi di audio, come il parlato, la musica e gli effetti sonori, la progettazione di modelli per ciascun tipo richiede un'attenta considerazione di obiettivi e bias specifici che possono differire significativamente da quelli di altri tipi. Per avvicinarci a una prospettiva unificata della generazione audio, questo articolo propone un framework che utilizza lo stesso metodo di apprendimento per la generazione di parlato, musica ed effetti sonori. Il nostro framework introduce una rappresentazione generale dell'audio, chiamata linguaggio dell'audio (LOA, Language of Audio). Qualsiasi audio può essere tradotto in LOA basandosi su AudioMAE, un modello di apprendimento della rappresentazione pre-addestrato in modo auto-supervisionato. Nel processo di generazione, traduciamo qualsiasi modalità in LOA utilizzando un modello GPT-2 e eseguiamo l'apprendimento auto-supervisionato della generazione audio con un modello di diffusione latente condizionato su LOA. Il framework proposto offre naturalmente vantaggi come capacità di apprendimento in contesto e la riutilizzabilità dei modelli AudioMAE e di diffusione latente pre-addestrati in modo auto-supervisionato. Gli esperimenti sui principali benchmark di testo-audio, testo-musica e testo-parlato dimostrano prestazioni all'avanguardia o competitive rispetto agli approcci precedenti. La nostra demo e il codice sono disponibili all'indirizzo https://audioldm.github.io/audioldm2.

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.