MiDashengLM: Comprensión Eficiente de Audio con Subtítulos Generales de Audio

MiDashengLM: Efficient Audio Understanding with General Audio Captions

August 6, 2025

Autores: Heinrich Dinkel, Gang Li, Jizhong Liu, Jian Luan, Yadong Niu, Xingwei Sun, Tianzi Wang, Qiyang Xiao, Junbo Zhang, Jiahao Zhou

cs.AI

Resumen

Los enfoques actuales para los modelos de lenguaje de audio a gran escala (LALMs, por sus siglas en inglés) suelen depender de fuentes de datos cerradas o modelos propietarios, lo que limita su generalización y accesibilidad. Este artículo presenta MiDashengLM, un novedoso modelo de lenguaje-audio abierto diseñado para una comprensión eficiente y exhaustiva del audio mediante el uso de descripciones generales de audio utilizando nuestro nuevo conjunto de datos de entrenamiento ACAVCaps. MiDashengLM se basa exclusivamente en conjuntos de datos de preentrenamiento y ajuste fino supervisado (SFT) disponibles públicamente, garantizando plena transparencia y reproducibilidad. En su núcleo, MiDashengLM integra Dasheng, un codificador de audio de código abierto, específicamente diseñado para procesar de manera efectiva información auditiva diversa. A diferencia de trabajos anteriores centrados principalmente en la alineación audio-texto basada en Reconocimiento Automático del Habla (ASR), nuestra estrategia se enfoca en descripciones generales de audio, fusionando información de voz, sonido y música en una representación textual única, permitiendo una representación textual holística de escenas auditivas complejas. Por último, MiDashengLM ofrece una aceleración de hasta 4 veces en términos de tiempo para el primer token (TTFT) y un rendimiento hasta 20 veces mayor que modelos comparables. Los puntos de control están disponibles en línea en https://huggingface.co/mispeech/midashenglm-7b y https://github.com/xiaomi-research/dasheng-lm.

English

Current approaches for large audio language models (LALMs) often rely on closed data sources or proprietary models, limiting their generalization and accessibility. This paper introduces MiDashengLM, a novel open audio-language model designed for efficient and comprehensive audio understanding through the use of general audio captions using our novel ACAVCaps training dataset. MiDashengLM exclusively relies on publicly available pretraining and supervised fine-tuning (SFT) datasets, ensuring full transparency and reproducibility. At its core, MiDashengLM integrates Dasheng, an open-source audio encoder, specifically engineered to process diverse auditory information effectively. Unlike previous works primarily focused on Automatic Speech Recognition (ASR) based audio-text alignment, our strategy centers on general audio captions, fusing speech, sound and music information into one textual representation, enabling a holistic textual representation of complex audio scenes. Lastly, MiDashengLM provides an up to 4x speedup in terms of time-to-first-token (TTFT) and up to 20x higher throughput than comparable models. Checkpoints are available online at https://huggingface.co/mispeech/midashenglm-7b and https://github.com/xiaomi-research/dasheng-lm.