AudioLDM 2: 자기 지도 사전 학습을 통한 전체적 오디오 생성 학습

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

August 10, 2023

저자: Haohe Liu, Qiao Tian, Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

cs.AI

초록

오디오 생성은 음성, 음악, 사운드 효과 등 다양한 유형의 오디오 간에 공통점을 공유하지만, 각 유형에 대한 모델 설계는 특정 목표와 편향을 신중히 고려해야 하며, 이는 다른 유형과 크게 다를 수 있습니다. 오디오 생성에 대한 통합된 관점에 한 걸음 더 다가가기 위해, 본 논문은 음성, 음악, 사운드 효과 생성을 동일한 학습 방법으로 수행하는 프레임워크를 제안합니다. 우리의 프레임워크는 '오디오의 언어(Language of Audio, LOA)'라는 일반적인 오디오 표현을 도입합니다. 모든 오디오는 자기 지도 사전 학습 표현 학습 모델인 AudioMAE를 기반으로 LOA로 변환될 수 있습니다. 생성 과정에서 우리는 GPT-2 모델을 사용하여 모든 모달리티를 LOA로 변환하고, LOA를 조건으로 하는 잠재 확산 모델을 통해 자기 지도 오디오 생성 학습을 수행합니다. 제안된 프레임워크는 컨텍스트 내 학습 능력과 재사용 가능한 자기 지도 사전 학습 AudioMAE 및 잠재 확산 모델과 같은 장점을 자연스럽게 제공합니다. 텍스트-투-오디오, 텍스트-투-음악, 텍스트-투-스피치 주요 벤치마크에서의 실험은 이전 접근 방식에 비해 새로운 최첨단 성능 또는 경쟁력 있는 성능을 보여줍니다. 우리의 데모와 코드는 https://audioldm.github.io/audioldm2에서 확인할 수 있습니다.

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.