Wie auditives Wissen in LLM-Backbones Audio-Sprachmodelle prägt: Eine ganzheitliche Evaluation
How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation
March 19, 2026
Autoren: Ke-Han Lu, Szu-Wei Fu, Chao-Han Huck Yang, Zhehuai Chen, Sung-Feng Huang, Chih-Kai Yang, Yi-Cheng Lin, Chi-Yuan Hsiao, Wenze Ren, En-Pei Hu, Yu-Han Huang, An-Yu Cheng, Cheng-Han Chiang, Yu Tsao, Yu-Chiang Frank Wang, Hung-yi Lee
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) werden häufig als Wissensbasis für Große Audio-Sprachmodelle (LALMs) eingesetzt, doch bleibt unklar, wie viel auditives Wissen sie durch rein textbasierte Vortrainierung erlernen und wie sich dies auf die nachgelagerte Leistung auswirkt. Wir untersuchen diese Lücke durch den Vergleich verschiedener LLMs unter drei Bedingungen – zwei textbasierten und einer audio-gestützten: (1) Direktes Abfragen mit AKB-2000, einem kuratierten Benchmark zur Überprüfung der Breite und Tiefe auditiven Wissens; (2) Kaskadenbewertung, bei der LLMs über Textbeschreibungen eines Audio-Captioners reasoning anwenden; und (3) Audio-gestützte Evaluation, bei der jedes LLM mit einem Audio-Encoder zu einem LALM feinabgestimmt wird. Unsere Ergebnisse zeigen, dass sich das auditive Wissen zwischen Modellfamilien erheblich unterscheidet und textbasierte Ergebnisse stark mit der Audioleistung korrelieren. Unsere Arbeit liefert eine empirische Grundlage für ein umfassendes Verständnis von LLMs in der Audioforschung.
English
Large language models (LLMs) have been widely used as knowledge backbones of Large Audio Language Models (LALMs), yet how much auditory knowledge they encode through text-only pre-training and how this affects downstream performance remains unclear. We study this gap by comparing different LLMs under two text-only and one audio-grounded setting: (1) direct probing on AKB-2000, a curated benchmark testing the breadth and depth of auditory knowledge; (2) cascade evaluation, where LLMs reason over text descriptions from an audio captioner; and (3) audio-grounded evaluation, where each LLM is fine-tuned into a Large Audio Language Model (LALM) with an audio encoder. Our findings reveal that auditory knowledge varies substantially across families, and text-only results are strongly correlated with audio performance. Our work provides empirical grounding for a comprehensive understanding of LLMs in audio research.