AudioLDM 2: Aprendizado de Geração de Áudio Holística com Pré-treinamento Autossupervisionado

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

August 10, 2023

Autores: Haohe Liu, Qiao Tian, Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

cs.AI

Resumo

Embora a geração de áudio compartilhe características comuns entre diferentes tipos de som, como fala, música e efeitos sonoros, o desenvolvimento de modelos para cada tipo exige uma consideração cuidadosa de objetivos e vieses específicos que podem diferir significativamente daqueles de outros tipos. Para nos aproximarmos de uma perspectiva unificada sobre a geração de áudio, este artigo propõe um framework que utiliza o mesmo método de aprendizado para a geração de fala, música e efeitos sonoros. Nosso framework introduz uma representação geral do áudio, chamada de linguagem do áudio (LOA, do inglês *Language of Audio*). Qualquer áudio pode ser traduzido para LOA com base no AudioMAE, um modelo de aprendizado de representação pré-treinado de forma autossupervisionada. No processo de geração, traduzimos qualquer modalidade para LOA usando um modelo GPT-2 e realizamos o aprendizado de geração de áudio autossupervisionado com um modelo de difusão latente condicionado à LOA. O framework proposto traz naturalmente vantagens, como capacidades de aprendizado em contexto e a reutilização dos modelos pré-treinados autossupervisionados AudioMAE e de difusão latente. Experimentos nos principais benchmarks de texto-para-áudio, texto-para-música e texto-para-fala demonstram um desempenho novo e de ponta ou competitivo em relação às abordagens anteriores. Nossa demonstração e código estão disponíveis em https://audioldm.github.io/audioldm2.

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.