Auf dem Weg zu vielfältiger und effizienter Audiobeschreibung mittels Diffusionsmodellen

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Autoren: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Zusammenfassung

Wir stellen Diffusionsbasiertes Audio-Untertitelung (DAC) vor, ein nicht-autoregressives Diffusionsmodell, das für vielfältige und effiziente Audio-Untertitelung entwickelt wurde. Obwohl bestehende Untertitelungsmodelle, die auf Sprach-Backbones angewiesen sind, bemerkenswerte Erfolge bei verschiedenen Untertitelungsaufgaben erzielt haben, behindern ihre unzureichende Leistung in Bezug auf Generierungsgeschwindigkeit und Vielfalt den Fortschritt im Bereich der Audio-Verständnis und Multimedia-Anwendungen. Unser diffusionsbasiertes Framework bietet einzigartige Vorteile, die sich aus seiner inhärenten Stochastizität und ganzheitlichen Kontextmodellierung in der Untertitelung ergeben. Durch eine gründliche Evaluation zeigen wir, dass DAC nicht nur Spitzenleistungen im Vergleich zu bestehenden Benchmarks in Bezug auf die Untertitelqualität erreicht, sondern sie auch signifikant in Bezug auf Generierungsgeschwindigkeit und Vielfalt übertrifft. Der Erfolg von DAC verdeutlicht, dass die Textgenerierung auch nahtlos mit Audio- und visuellen Generierungsaufgaben unter Verwendung eines Diffusions-Backbones integriert werden kann und so den Weg für ein vereinigtes, audio-bezogenes generatives Modell über verschiedene Modalitäten hinweg ebnet.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.