MiDashengLM: Comprensione Audio Efficiente con Didascalie Audio Generiche

MiDashengLM: Efficient Audio Understanding with General Audio Captions

August 6, 2025

Autori: Heinrich Dinkel, Gang Li, Jizhong Liu, Jian Luan, Yadong Niu, Xingwei Sun, Tianzi Wang, Qiyang Xiao, Junbo Zhang, Jiahao Zhou

cs.AI

Abstract

Gli approcci attuali per i modelli linguistici audio di grandi dimensioni (LALM) si basano spesso su fonti di dati chiuse o modelli proprietari, limitandone la generalizzazione e l'accessibilità. Questo articolo introduce MiDashengLM, un nuovo modello audio-linguistico aperto progettato per una comprensione audio efficiente e completa attraverso l'uso di didascalie audio generali utilizzando il nostro nuovo dataset di addestramento ACAVCaps. MiDashengLM si affida esclusivamente a dataset di pre-addestramento e di fine-tuning supervisionato (SFT) pubblicamente disponibili, garantendo piena trasparenza e riproducibilità. Al suo interno, MiDashengLM integra Dasheng, un codificatore audio open-source, specificamente progettato per elaborare efficacemente informazioni uditive diverse. A differenza dei lavori precedenti principalmente focalizzati sull'allineamento audio-testo basato sul riconoscimento vocale automatico (ASR), la nostra strategia si concentra su didascalie audio generali, fondendo informazioni vocali, sonore e musicali in una rappresentazione testuale unica, consentendo una rappresentazione testuale olistica di scene audio complesse. Infine, MiDashengLM offre un'accelerazione fino a 4x in termini di tempo al primo token (TTFT) e una velocità di elaborazione fino a 20x superiore rispetto a modelli comparabili. I checkpoint sono disponibili online su https://huggingface.co/mispeech/midashenglm-7b e https://github.com/xiaomi-research/dasheng-lm.

English

Current approaches for large audio language models (LALMs) often rely on closed data sources or proprietary models, limiting their generalization and accessibility. This paper introduces MiDashengLM, a novel open audio-language model designed for efficient and comprehensive audio understanding through the use of general audio captions using our novel ACAVCaps training dataset. MiDashengLM exclusively relies on publicly available pretraining and supervised fine-tuning (SFT) datasets, ensuring full transparency and reproducibility. At its core, MiDashengLM integrates Dasheng, an open-source audio encoder, specifically engineered to process diverse auditory information effectively. Unlike previous works primarily focused on Automatic Speech Recognition (ASR) based audio-text alignment, our strategy centers on general audio captions, fusing speech, sound and music information into one textual representation, enabling a holistic textual representation of complex audio scenes. Lastly, MiDashengLM provides an up to 4x speedup in terms of time-to-first-token (TTFT) and up to 20x higher throughput than comparable models. Checkpoints are available online at https://huggingface.co/mispeech/midashenglm-7b and https://github.com/xiaomi-research/dasheng-lm.