検索拡張型テキスト音声生成

要旨

テキストからオーディオ生成（TTA）における最近の進展にもかかわらず、AudioCapsのようなクラス分布が不均衡なデータセットで学習されたAudioLDMなどの最先端モデルは、生成性能に偏りがあることを示します。具体的には、一般的なオーディオクラスの生成には優れている一方で、稀なクラスでは性能が低く、全体的な生成性能が低下しています。この問題を「ロングテール型テキストからオーディオ生成」と呼びます。この課題に対処するため、TTAモデルに対してシンプルな検索拡張アプローチを提案します。具体的には、入力テキストプロンプトが与えられた際、まずContrastive Language Audio Pretraining（CLAP）モデルを活用して関連するテキスト-オーディオペアを検索します。検索されたオーディオ-テキストデータの特徴を、TTAモデルの学習をガイドするための追加条件として使用します。提案アプローチをAudioLDMに組み込み、拡張されたシステムをRe-AudioLDMと命名します。AudioCapsデータセットにおいて、Re-AudioLDMはFrechet Audio Distance（FAD）1.37を達成し、既存のアプローチを大幅に上回る最先端の性能を示します。さらに、Re-AudioLDMは複雑なシーン、稀なオーディオクラス、さらには未見のオーディオタイプに対しても現実的なオーディオを生成できることを示し、TTAタスクにおける潜在能力を示しています。

English

Despite recent progress in text-to-audio (TTA) generation, we show that the state-of-the-art models, such as AudioLDM, trained on datasets with an imbalanced class distribution, such as AudioCaps, are biased in their generation performance. Specifically, they excel in generating common audio classes while underperforming in the rare ones, thus degrading the overall generation performance. We refer to this problem as long-tailed text-to-audio generation. To address this issue, we propose a simple retrieval-augmented approach for TTA models. Specifically, given an input text prompt, we first leverage a Contrastive Language Audio Pretraining (CLAP) model to retrieve relevant text-audio pairs. The features of the retrieved audio-text data are then used as additional conditions to guide the learning of TTA models. We enhance AudioLDM with our proposed approach and denote the resulting augmented system as Re-AudioLDM. On the AudioCaps dataset, Re-AudioLDM achieves a state-of-the-art Frechet Audio Distance (FAD) of 1.37, outperforming the existing approaches by a large margin. Furthermore, we show that Re-AudioLDM can generate realistic audio for complex scenes, rare audio classes, and even unseen audio types, indicating its potential in TTA tasks.

検索拡張型テキスト音声生成

Retrieval-Augmented Text-to-Audio Generation

要旨

Support