Vers une description audio diversifiée et efficace via des modèles de diffusion

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Auteurs: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Résumé

Nous présentons la Description Audio par Diffusion (DAC), un modèle de diffusion non-autorégressif conçu pour la description audio diversifiée et efficace. Bien que les modèles de description existants reposant sur des structures linguistiques aient obtenu un succès remarquable dans diverses tâches de description, leurs performances insuffisantes en termes de vitesse de génération et de diversité entravent les progrès dans la compréhension audio et les applications multimédias. Notre cadre basé sur la diffusion offre des avantages uniques découlant de sa stochasticité inhérente et de sa modélisation contextuelle holistique dans la description. À travers une évaluation rigoureuse, nous démontrons que DAC atteint non seulement des niveaux de performance de pointe par rapport aux benchmarks existants en termes de qualité de la description, mais les surpasse également de manière significative en termes de vitesse et de diversité de génération. Le succès de DAC illustre que la génération de texte peut également être intégrée de manière transparente avec les tâches de génération audio et visuelle en utilisant une structure de diffusion, ouvrant la voie à un modèle génératif unifié lié à l'audio à travers différentes modalités.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.