ChatPaper.aiChatPaper

FusionAudio-1.2M: Hacia la descripción de audio detallada con fusión contextual multimodal

FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion

June 1, 2025
Autores: Shunian Chen, Xinyuan Xie, Zheshu Chen, Liyan Zhao, Owen Lee, Zhan Su, Qilin Sun, Benyou Wang
cs.AI

Resumen

La generación de subtítulos de audio de alta calidad y a gran escala es crucial para avanzar en la comprensión del audio, sin embargo, los métodos automatizados actuales suelen generar subtítulos que carecen de detalles específicos y precisión contextual, principalmente debido a su dependencia de información unimodal limitada o multimodal superficial. Inspirándonos en la percepción auditiva humana, que integra hábilmente señales intermodales y realiza un análisis sofisticado de escenas auditivas, presentamos una novedosa canalización automatizada de dos etapas. Esta canalización primero emplea modelos preentrenados especializados para extraer diversas señales contextuales (por ejemplo, habla, música, sonidos generales e información visual de videos asociados). Luego, un modelo de lenguaje de gran escala (LLM, por sus siglas en inglés) sintetiza estas entradas multimodales ricas para generar subtítulos de audio detallados y conscientes del contexto. Las contribuciones clave de este trabajo incluyen: (1) el método escalable propuesto para la generación de subtítulos de audio con gran detalle; (2) FusionAudio, un nuevo conjunto de datos a gran escala que comprende 1.2 millones de subtítulos detallados, combinados con 6 millones de pares de preguntas y respuestas; y (3) modelos de audio mejorados desarrollados utilizando FusionAudio, específicamente un codificador de audio basado en CLAP con una alineación audio-texto superior y capacidad de seguimiento de instrucciones. Este artículo allana el camino para una comprensión automatizada más matizada y precisa de entornos de audio complejos. El código y los datos pueden encontrarse en https://github.com/satsuki2486441738/FusionAudio.
English
High-quality, large-scale audio captioning is crucial for advancing audio understanding, yet current automated methods often generate captions that lack fine-grained detail and contextual accuracy, primarily due to their reliance on limited unimodal or superficial multimodal information. Drawing inspiration from human auditory perception, which adeptly integrates cross-modal cues and performs sophisticated auditory scene analysis, we introduce a novel two-stage automated pipeline. This pipeline first employs specialized pretrained models to extract diverse contextual cues (e.g., speech, music, general sounds, and visual information from associated video). A large language model (LLM) then synthesizes these rich, multimodal inputs to generate detailed and context-aware audio captions. Key contributions of this work include: (1) the proposed scalable method for fine-grained audio caption generation; (2) FusionAudio, a new large-scale dataset comprising 1.2 million such detailed captions, combined with 6 million QA pairs; and (3) enhanced audio models developed using FusionAudio, specifically a CLAP-based audio encoder with superior audio-text alignment and instruction following. This paper paves the way for more nuanced and accurate automated understanding of complex audio environments. Code and data can be found in https://github.com/satsuki2486441738/FusionAudio.
PDF292June 9, 2025