AudioLDM 2: Обучение целостной генерации аудио с использованием самоконтролируемого предобучения

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

August 10, 2023

Авторы: Haohe Liu, Qiao Tian, Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

cs.AI

Аннотация

Хотя генерация аудио имеет общие черты для различных типов звуков, таких как речь, музыка и звуковые эффекты, разработка моделей для каждого типа требует тщательного учета специфических целей и предубеждений, которые могут существенно отличаться от таковых для других типов. Чтобы приблизиться к унифицированному взгляду на генерацию аудио, в данной статье предлагается фреймворк, который использует один и тот же метод обучения для генерации речи, музыки и звуковых эффектов. Наш фреймворк вводит общее представление аудио, называемое языком аудио (LOA). Любое аудио может быть переведено в LOA на основе AudioMAE — модели самообучаемого предварительно обученного представления. В процессе генерации мы переводим любые модальности в LOA с использованием модели GPT-2 и выполняем самообучаемую генерацию аудио с помощью латентной диффузионной модели, обусловленной LOA. Предложенный фреймворк естественным образом привносит такие преимущества, как способность к обучению в контексте и возможность повторного использования предварительно обученных моделей AudioMAE и латентной диффузии. Эксперименты на основных бенчмарках для задач текст-в-аудио, текст-в-музыку и текст-в-речь демонстрируют новые результаты, превосходящие или конкурирующие с предыдущими подходами. Наша демонстрация и код доступны по адресу https://audioldm.github.io/audioldm2.

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.