MiDashengLM: Effizientes Audioverständnis mit allgemeinen Audio-Beschreibungen

MiDashengLM: Efficient Audio Understanding with General Audio Captions

August 6, 2025

papers.authors: Heinrich Dinkel, Gang Li, Jizhong Liu, Jian Luan, Yadong Niu, Xingwei Sun, Tianzi Wang, Qiyang Xiao, Junbo Zhang, Jiahao Zhou

cs.AI

papers.abstract

Aktuelle Ansätze für große Audio-Sprachmodelle (LALMs) basieren häufig auf geschlossenen Datenquellen oder proprietären Modellen, was ihre Generalisierbarkeit und Zugänglichkeit einschränkt. Dieses Papier stellt MiDashengLM vor, ein neuartiges offenes Audio-Sprachmodell, das für ein effizientes und umfassendes Audioverständnis durch die Verwendung allgemeiner Audio-Beschreibungen mithilfe unseres neuartigen ACAVCaps-Trainingsdatensatzes entwickelt wurde. MiDashengLM stützt sich ausschließlich auf öffentlich verfügbare Vorabtrainings- und überwachte Feinabstimmungsdatensätze (SFT), wodurch vollständige Transparenz und Reproduzierbarkeit gewährleistet werden. Im Kern integriert MiDashengLM Dasheng, einen Open-Source-Audio-Encoder, der speziell dafür entwickelt wurde, diverse auditive Informationen effektiv zu verarbeiten. Im Gegensatz zu früheren Arbeiten, die sich hauptsächlich auf die Audio-Text-Ausrichtung basierend auf automatischer Spracherkennung (ASR) konzentrierten, zentriert sich unsere Strategie auf allgemeine Audio-Beschreibungen, die Sprach-, Klang- und Musikinformationen in einer textuellen Darstellung vereinen und somit eine ganzheitliche textuelle Repräsentation komplexer Audioszenen ermöglichen. Schließlich bietet MiDashengLM eine bis zu 4-fache Beschleunigung in Bezug auf die Zeit bis zum ersten Token (TTFT) und einen bis zu 20-fach höheren Durchsatz im Vergleich zu ähnlichen Modellen. Checkpoints sind online verfügbar unter https://huggingface.co/mispeech/midashenglm-7b und https://github.com/xiaomi-research/dasheng-lm.

English

Current approaches for large audio language models (LALMs) often rely on closed data sources or proprietary models, limiting their generalization and accessibility. This paper introduces MiDashengLM, a novel open audio-language model designed for efficient and comprehensive audio understanding through the use of general audio captions using our novel ACAVCaps training dataset. MiDashengLM exclusively relies on publicly available pretraining and supervised fine-tuning (SFT) datasets, ensuring full transparency and reproducibility. At its core, MiDashengLM integrates Dasheng, an open-source audio encoder, specifically engineered to process diverse auditory information effectively. Unlike previous works primarily focused on Automatic Speech Recognition (ASR) based audio-text alignment, our strategy centers on general audio captions, fusing speech, sound and music information into one textual representation, enabling a holistic textual representation of complex audio scenes. Lastly, MiDashengLM provides an up to 4x speedup in terms of time-to-first-token (TTFT) and up to 20x higher throughput than comparable models. Checkpoints are available online at https://huggingface.co/mispeech/midashenglm-7b and https://github.com/xiaomi-research/dasheng-lm.