AudioLDM 2: 自己教師あり事前学習による包括的音声生成の学習

要旨

音声生成は、音声、音楽、サウンドエフェクトなど、異なる種類の音声に共通点があるものの、それぞれのタイプに対するモデル設計には、他のタイプとは大きく異なる特定の目的やバイアスを慎重に考慮する必要があります。本論文では、音声生成の統一的な視点に近づくため、音声、音楽、サウンドエフェクトの生成に同じ学習方法を利用するフレームワークを提案します。提案するフレームワークでは、音声の一般的な表現として「音声の言語（Language of Audio, LOA）」を導入します。任意の音声は、自己教師あり事前学習済みの表現学習モデルであるAudioMAEに基づいてLOAに変換されます。生成プロセスでは、GPT-2モデルを使用して任意のモダリティをLOAに変換し、LOAを条件とした潜在拡散モデルを用いて自己教師あり音声生成学習を行います。提案フレームワークは、コンテキスト内学習能力や、再利用可能な自己教師あり事前学習済みAudioMAEおよび潜在拡散モデルといった利点を自然にもたらします。テキストから音声、テキストから音楽、テキストから音声への主要なベンチマークでの実験では、従来のアプローチに対して新たな最先端または競争力のある性能を示しています。デモとコードはhttps://audioldm.github.io/audioldm2で公開されています。

English

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called language of audio (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate new state-of-the-art or competitive performance to previous approaches. Our demo and code are available at https://audioldm.github.io/audioldm2.

AudioLDM 2: 自己教師あり事前学習による包括的音声生成の学習

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

要旨

Support