FusionAudio-1.2M: Hacia la descripción de audio detallada con fusión contextual multimodal
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
June 1, 2025
Autores: Shunian Chen, Xinyuan Xie, Zheshu Chen, Liyan Zhao, Owen Lee, Zhan Su, Qilin Sun, Benyou Wang
cs.AI
Resumen
La generación de subtítulos de audio de alta calidad y a gran escala es crucial para avanzar en la comprensión del audio, sin embargo, los métodos automatizados actuales suelen generar subtítulos que carecen de detalles específicos y precisión contextual, principalmente debido a su dependencia de información unimodal limitada o multimodal superficial. Inspirándonos en la percepción auditiva humana, que integra hábilmente señales intermodales y realiza un análisis sofisticado de escenas auditivas, presentamos una novedosa canalización automatizada de dos etapas. Esta canalización primero emplea modelos preentrenados especializados para extraer diversas señales contextuales (por ejemplo, habla, música, sonidos generales e información visual de videos asociados). Luego, un modelo de lenguaje de gran escala (LLM, por sus siglas en inglés) sintetiza estas entradas multimodales ricas para generar subtítulos de audio detallados y conscientes del contexto. Las contribuciones clave de este trabajo incluyen: (1) el método escalable propuesto para la generación de subtítulos de audio con gran detalle; (2) FusionAudio, un nuevo conjunto de datos a gran escala que comprende 1.2 millones de subtítulos detallados, combinados con 6 millones de pares de preguntas y respuestas; y (3) modelos de audio mejorados desarrollados utilizando FusionAudio, específicamente un codificador de audio basado en CLAP con una alineación audio-texto superior y capacidad de seguimiento de instrucciones. Este artículo allana el camino para una comprensión automatizada más matizada y precisa de entornos de audio complejos. El código y los datos pueden encontrarse en https://github.com/satsuki2486441738/FusionAudio.
English
High-quality, large-scale audio captioning is crucial for advancing audio
understanding, yet current automated methods often generate captions that lack
fine-grained detail and contextual accuracy, primarily due to their reliance on
limited unimodal or superficial multimodal information. Drawing inspiration
from human auditory perception, which adeptly integrates cross-modal cues and
performs sophisticated auditory scene analysis, we introduce a novel two-stage
automated pipeline. This pipeline first employs specialized pretrained models
to extract diverse contextual cues (e.g., speech, music, general sounds, and
visual information from associated video). A large language model (LLM) then
synthesizes these rich, multimodal inputs to generate detailed and
context-aware audio captions. Key contributions of this work include: (1) the
proposed scalable method for fine-grained audio caption generation; (2)
FusionAudio, a new large-scale dataset comprising 1.2 million such detailed
captions, combined with 6 million QA pairs; and (3) enhanced audio models
developed using FusionAudio, specifically a CLAP-based audio encoder with
superior audio-text alignment and instruction following. This paper paves the
way for more nuanced and accurate automated understanding of complex audio
environments. Code and data can be found in
https://github.com/satsuki2486441738/FusionAudio.