MiDashengLM: Compreensão Eficiente de Áudio com Legendas Gerais de Áudio

MiDashengLM: Efficient Audio Understanding with General Audio Captions

August 6, 2025

Autores: Heinrich Dinkel, Gang Li, Jizhong Liu, Jian Luan, Yadong Niu, Xingwei Sun, Tianzi Wang, Qiyang Xiao, Junbo Zhang, Jiahao Zhou

cs.AI

Resumo

As abordagens atuais para grandes modelos de linguagem de áudio (LALMs) frequentemente dependem de fontes de dados fechadas ou modelos proprietários, limitando sua generalização e acessibilidade. Este artigo apresenta o MiDashengLM, um novo modelo aberto de linguagem de áudio projetado para uma compreensão eficiente e abrangente de áudio por meio do uso de legendas de áudio gerais, utilizando nosso novo conjunto de dados de treinamento ACAVCaps. O MiDashengLM depende exclusivamente de conjuntos de dados de pré-treinamento e ajuste fino supervisionado (SFT) publicamente disponíveis, garantindo total transparência e reprodutibilidade. Em seu núcleo, o MiDashengLM integra o Dasheng, um codificador de áudio de código aberto, especificamente projetado para processar informações auditivas diversas de forma eficaz. Diferente de trabalhos anteriores focados principalmente no alinhamento áudio-texto baseado em Reconhecimento Automático de Fala (ASR), nossa estratégia se concentra em legendas de áudio gerais, fundindo informações de fala, som e música em uma única representação textual, permitindo uma representação textual holística de cenas de áudio complexas. Por fim, o MiDashengLM oferece uma aceleração de até 4x em termos de tempo para o primeiro token (TTFT) e uma taxa de transferência até 20x maior do que modelos comparáveis. Os checkpoints estão disponíveis online em https://huggingface.co/mispeech/midashenglm-7b e https://github.com/xiaomi-research/dasheng-lm.

English

Current approaches for large audio language models (LALMs) often rely on closed data sources or proprietary models, limiting their generalization and accessibility. This paper introduces MiDashengLM, a novel open audio-language model designed for efficient and comprehensive audio understanding through the use of general audio captions using our novel ACAVCaps training dataset. MiDashengLM exclusively relies on publicly available pretraining and supervised fine-tuning (SFT) datasets, ensuring full transparency and reproducibility. At its core, MiDashengLM integrates Dasheng, an open-source audio encoder, specifically engineered to process diverse auditory information effectively. Unlike previous works primarily focused on Automatic Speech Recognition (ASR) based audio-text alignment, our strategy centers on general audio captions, fusing speech, sound and music information into one textual representation, enabling a holistic textual representation of complex audio scenes. Lastly, MiDashengLM provides an up to 4x speedup in terms of time-to-first-token (TTFT) and up to 20x higher throughput than comparable models. Checkpoints are available online at https://huggingface.co/mispeech/midashenglm-7b and https://github.com/xiaomi-research/dasheng-lm.