拡散モデルを用いた多様かつ効率的なオーディオキャプショニングに向けて

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

著者: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

要旨

私たちは、多様で効率的なオーディオキャプショニング向けに調整された非自己回帰拡散モデルであるDiffusion-based Audio Captioning（DAC）を紹介します。言語バックボーンに依存する既存のキャプショニングモデルは、さまざまなキャプショニングタスクで顕著な成功を収めてきましたが、生成速度や多様性の面での十分な性能が不足しており、オーディオ理解やマルチメディアアプリケーションの進展を妨げています。当社の拡散ベースのフレームワークは、キャプショニングにおける固有の利点を提供します。これは、その固有の確率性と包括的なコンテキストモデリングに起因しています。厳密な評価を通じて、DACが既存のベンチマークと比較して、キャプション品質においてSOTAの性能レベルを達成するだけでなく、生成速度と多様性の面でも著しく優れていることを示します。DACの成功は、テキスト生成が拡散バックボーンを使用してオーディオおよびビジュアル生成タスクとシームレスに統合される可能性があり、異なるモダリティ間で統一されたオーディオ関連の生成モデルの道を開いています。

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.