FusionAudio-1.2M: 다중모달 컨텍스트 융합을 통한 세밀한 오디오 캡셔닝을 향하여

FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion

June 1, 2025

저자: Shunian Chen, Xinyuan Xie, Zheshu Chen, Liyan Zhao, Owen Lee, Zhan Su, Qilin Sun, Benyou Wang

cs.AI

초록

고품질의 대규모 오디오 캡셔닝은 오디오 이해를 발전시키는 데 중요하지만, 현재의 자동화된 방법들은 주로 제한된 단일 모달 또는 피상적인 다중 모달 정보에 의존하기 때문에 미세한 디테일과 문맥적 정확성이 부족한 캡션을 생성하는 경우가 많습니다. 인간의 청각 인식에서 영감을 얻어, 교차 모달 단서를 능숙하게 통합하고 정교한 청각 장면 분석을 수행하는 방식을 본따, 우리는 새로운 두 단계의 자동화 파이프라인을 소개합니다. 이 파이프라인은 먼저 특화된 사전 훈련된 모델을 사용하여 다양한 문맥 단서(예: 음성, 음악, 일반 소리, 그리고 관련 비디오에서의 시각 정보)를 추출합니다. 그런 다음 대형 언어 모델(LLM)이 이러한 풍부한 다중 모달 입력을 종합하여 상세하고 문맥을 고려한 오디오 캡션을 생성합니다. 이 연구의 주요 기여점은 다음과 같습니다: (1) 미세한 오디오 캡션 생성을 위한 확장 가능한 방법 제안; (2) 120만 개의 상세한 캡션과 600만 개의 질문-답변 쌍으로 구성된 새로운 대규모 데이터셋인 FusionAudio; (3) FusionAudio를 사용하여 개발된 향상된 오디오 모델, 특히 우수한 오디오-텍스트 정렬과 명령어 수행 능력을 가진 CLAP 기반 오디오 인코더. 이 논문은 복잡한 오디오 환경에 대한 더 섬세하고 정확한 자동화된 이해의 길을 열어줍니다. 코드와 데이터는 https://github.com/satsuki2486441738/FusionAudio에서 확인할 수 있습니다.

English

High-quality, large-scale audio captioning is crucial for advancing audio understanding, yet current automated methods often generate captions that lack fine-grained detail and contextual accuracy, primarily due to their reliance on limited unimodal or superficial multimodal information. Drawing inspiration from human auditory perception, which adeptly integrates cross-modal cues and performs sophisticated auditory scene analysis, we introduce a novel two-stage automated pipeline. This pipeline first employs specialized pretrained models to extract diverse contextual cues (e.g., speech, music, general sounds, and visual information from associated video). A large language model (LLM) then synthesizes these rich, multimodal inputs to generate detailed and context-aware audio captions. Key contributions of this work include: (1) the proposed scalable method for fine-grained audio caption generation; (2) FusionAudio, a new large-scale dataset comprising 1.2 million such detailed captions, combined with 6 million QA pairs; and (3) enhanced audio models developed using FusionAudio, specifically a CLAP-based audio encoder with superior audio-text alignment and instruction following. This paper paves the way for more nuanced and accurate automated understanding of complex audio environments. Code and data can be found in https://github.com/satsuki2486441738/FusionAudio.