Hacia una Subtitulación de Audio Diversa y Eficiente a través de Modelos de Difusión

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Autores: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Resumen

Presentamos la Subtitulación de Audio Basada en Difusión (DAC), un modelo de difusión no autoregresivo diseñado para la subtitulación de audio diversa y eficiente. Aunque los modelos de subtitulación existentes que dependen de espinazos lingüísticos han logrado un éxito notable en diversas tareas de subtitulación, su rendimiento insuficiente en cuanto a velocidad de generación y diversidad obstaculiza el progreso en la comprensión de audio y aplicaciones multimedia. Nuestro marco basado en difusión ofrece ventajas únicas derivadas de su estocasticidad inherente y modelado de contexto holístico en la subtitulación. A través de una evaluación rigurosa, demostramos que DAC no solo alcanza niveles de rendimiento de última generación en comparación con los puntos de referencia existentes en la calidad de los subtítulos, sino que también los supera significativamente en cuanto a velocidad y diversidad de generación. El éxito de DAC ilustra que la generación de texto también puede integrarse de manera fluida con tareas de generación de audio y visual utilizando un espinazo de difusión, allanando el camino para un modelo generativo unificado relacionado con el audio a través de diferentes modalidades.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.