Verso una descrizione audio variegata ed efficiente tramite modelli di diffusione

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Autori: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Abstract

Introduciamo la Descrizione Audio basata sulla Diffusione (DAC), un modello di diffusione non autoregressivo progettato per la descrizione efficiente e diversificata di audio. Sebbene i modelli di descrizione esistenti che si basano su strutture linguistiche abbiano ottenuto successi notevoli in varie attività di descrizione, le loro prestazioni insufficienti in termini di velocità di generazione e diversità ostacolano il progresso nell'ambito della comprensione dell'audio e delle applicazioni multimediali. Il nostro framework basato sulla diffusione offre vantaggi unici derivanti dalla sua intrinseca stocasticità e dalla modellazione contestuale olistica nella descrizione. Attraverso una valutazione rigorosa, dimostriamo che DAC non solo raggiunge livelli di prestazioni di alto livello rispetto ai benchmark esistenti nella qualità della descrizione, ma li supera significativamente anche in termini di velocità e diversità di generazione. Il successo di DAC dimostra che la generazione di testo può essere integrata in modo fluido anche con compiti di generazione audio e visiva utilizzando una struttura di base a diffusione, aprendo la strada a un modello generativo unificato relativo all'audio attraverso diverse modalità.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.