AudioLDM 2 : Apprentissage de la génération audio holistique avec prétentrainement auto-supervisé

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

August 10, 2023

Auteurs: Haohe Liu, Qiao Tian, Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

cs.AI

Résumé

Bien que la génération audio partage des points communs entre différents types de sons, tels que la parole, la musique et les effets sonores, la conception de modèles pour chaque type nécessite une attention particulière aux objectifs spécifiques et aux biais qui peuvent différer considérablement de ceux des autres types. Pour nous rapprocher d'une perspective unifiée de la génération audio, cet article propose un cadre qui utilise la même méthode d'apprentissage pour la génération de parole, de musique et d'effets sonores. Notre cadre introduit une représentation générale de l'audio, appelée langage de l'audio (LOA). Tout audio peut être traduit en LOA sur la base d'AudioMAE, un modèle d'apprentissage de représentation pré-entraîné en auto-supervision. Dans le processus de génération, nous traduisons toutes les modalités en LOA en utilisant un modèle GPT-2, et nous effectuons un apprentissage de génération audio auto-supervisé avec un modèle de diffusion latente conditionné sur LOA. Le cadre proposé apporte naturellement des avantages tels que des capacités d'apprentissage en contexte et la réutilisation des modèles AudioMAE et de diffusion latente pré-entraînés en auto-supervision. Les expériences sur les principaux benchmarks de texte-à-audio, texte-à-musique et texte-à-parole démontrent des performances nouvelles et de pointe ou compétitives par rapport aux approches précédentes. Notre démonstration et notre code sont disponibles à l'adresse https://audioldm.github.io/audioldm2.

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.