FusionAudio-1.2M: Naar fijnmazige audiobeschrijving met multimodale contextuele fusie

FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion

June 1, 2025

Auteurs: Shunian Chen, Xinyuan Xie, Zheshu Chen, Liyan Zhao, Owen Lee, Zhan Su, Qilin Sun, Benyou Wang

cs.AI

Samenvatting

Hoogwaardige, grootschalige audiobeschrijving is cruciaal voor het bevorderen van audiobegrip, maar huidige geautomatiseerde methoden genereren vaak beschrijvingen die fijnmazige details en contextuele nauwkeurigheid missen, voornamelijk vanwege hun afhankelijkheid van beperkte unimodale of oppervlakkige multimodale informatie. Geïnspireerd door de menselijke auditieve waarneming, die op vaardige wijze kruismodale signalen integreert en geavanceerde auditieve scène-analyse uitvoert, introduceren we een nieuwe tweefasen geautomatiseerde pijplijn. Deze pijplijn maakt eerst gebruik van gespecialiseerde vooraf getrainde modellen om diverse contextuele signalen te extraheren (bijvoorbeeld spraak, muziek, algemene geluiden en visuele informatie uit bijbehorende video). Een groot taalmodel (LLM) synthetiseert vervolgens deze rijke, multimodale inputs om gedetailleerde en contextbewuste audiobeschrijvingen te genereren. Belangrijke bijdragen van dit werk omvatten: (1) de voorgestelde schaalbare methode voor het genereren van fijnmazige audiobeschrijvingen; (2) FusionAudio, een nieuwe grootschalige dataset bestaande uit 1,2 miljoen van dergelijke gedetailleerde beschrijvingen, gecombineerd met 6 miljoen vraag-antwoordparen; en (3) verbeterde audiomodellen ontwikkeld met FusionAudio, specifiek een CLAP-gebaseerde audio-encoder met superieure audio-tekstuitlijning en instructievolging. Dit artikel bereidt de weg voor een genuanceerder en nauwkeuriger geautomatiseerd begrip van complexe audio-omgevingen. Code en data zijn te vinden op https://github.com/satsuki2486441738/FusionAudio.

English

High-quality, large-scale audio captioning is crucial for advancing audio understanding, yet current automated methods often generate captions that lack fine-grained detail and contextual accuracy, primarily due to their reliance on limited unimodal or superficial multimodal information. Drawing inspiration from human auditory perception, which adeptly integrates cross-modal cues and performs sophisticated auditory scene analysis, we introduce a novel two-stage automated pipeline. This pipeline first employs specialized pretrained models to extract diverse contextual cues (e.g., speech, music, general sounds, and visual information from associated video). A large language model (LLM) then synthesizes these rich, multimodal inputs to generate detailed and context-aware audio captions. Key contributions of this work include: (1) the proposed scalable method for fine-grained audio caption generation; (2) FusionAudio, a new large-scale dataset comprising 1.2 million such detailed captions, combined with 6 million QA pairs; and (3) enhanced audio models developed using FusionAudio, specifically a CLAP-based audio encoder with superior audio-text alignment and instruction following. This paper paves the way for more nuanced and accurate automated understanding of complex audio environments. Code and data can be found in https://github.com/satsuki2486441738/FusionAudio.