К разнообразным и эффективным подписям аудио с использованием моделей диффузии

Towards Diverse and Efficient Audio Captioning via Diffusion Models

September 14, 2024

Авторы: Manjie Xu, Chenxing Li, Xinyi Tu, Yong Ren, Ruibo Fu, Wei Liang, Dong Yu

cs.AI

Аннотация

Мы представляем Диффузионное аудио-подписывание (DAC), нерекурсивную модель диффузии, разработанную для разнообразного и эффективного подписывания аудио. Хотя существующие модели подписывания, основанные на языковых основах, достигли значительного успеха в различных задачах подписывания, их недостаточная производительность в плане скорости генерации и разнообразия затрудняют прогресс в аудио-понимании и мультимедийных приложениях. Наша диффузионная структура предлагает уникальные преимущества, вытекающие из ее врожденной стохастичности и комплексного моделирования контекста в подписывании. Через тщательную оценку мы демонстрируем, что DAC не только достигает уровней производительности SOTA по сравнению с существующими эталонами в качестве подписи, но также значительно превосходит их по скорости генерации и разнообразию. Успех DAC показывает, что генерация текста также может быть плавно интегрирована с задачами генерации аудио и визуального воспроизведения, используя диффузионную основу, что прокладывает путь к объединенной, аудио-связанной генеративной модели по различным модальностям.

English

We introduce Diffusion-based Audio Captioning (DAC), a non-autoregressive diffusion model tailored for diverse and efficient audio captioning. Although existing captioning models relying on language backbones have achieved remarkable success in various captioning tasks, their insufficient performance in terms of generation speed and diversity impede progress in audio understanding and multimedia applications. Our diffusion-based framework offers unique advantages stemming from its inherent stochasticity and holistic context modeling in captioning. Through rigorous evaluation, we demonstrate that DAC not only achieves SOTA performance levels compared to existing benchmarks in the caption quality, but also significantly outperforms them in terms of generation speed and diversity. The success of DAC illustrates that text generation can also be seamlessly integrated with audio and visual generation tasks using a diffusion backbone, paving the way for a unified, audio-related generative model across different modalities.