Rumo a Legendas de Áudio Diversas e Eficientes por Meio de Modelos de Difusão

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Autores: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Resumo

Apresentamos a Legendagem de Áudio Baseada em Difusão (DAC), um modelo de difusão não autoregressivo adaptado para legendagem de áudio diversificada e eficiente. Embora os modelos de legendagem existentes que dependem de espinhas dorsais de linguagem tenham alcançado sucesso notável em várias tarefas de legendagem, sua performance insuficiente em termos de velocidade de geração e diversidade impedem o progresso em compreensão de áudio e aplicações multimídia. Nosso framework baseado em difusão oferece vantagens únicas decorrentes de sua estocasticidade inerente e modelagem de contexto holística na legendagem. Através de uma avaliação rigorosa, demonstramos que o DAC não apenas alcança níveis de desempenho de última geração em comparação com benchmarks existentes na qualidade da legenda, mas também os supera significativamente em termos de velocidade e diversidade de geração. O sucesso do DAC ilustra que a geração de texto também pode ser integrada de forma contínua com tarefas de geração de áudio e visual usando uma espinha dorsal de difusão, abrindo caminho para um modelo generativo unificado relacionado ao áudio em diferentes modalidades.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.