Les grands modèles de langage audio-visuels perçoivent-ils vraiment ce qu'ils voient et entendent ?
Do Audio-Visual Large Language Models Really See and Hear?
April 3, 2026
Auteurs: Ramaneswaran Selvakumar, Kaousheik Jayakumar, S Sakshi, Sreyan Ghosh, Ruohan Gao, Dinesh Manocha
cs.AI
Résumé
Les modèles de grands langages audio-visuels (AVLLM) émergent comme des interfaces unifiées pour la perception multimodale. Nous présentons la première étude d'interprétabilité mécaniste des AVLLM, analysant comment les caractéristiques audio et visuelles évoluent et fusionnent à travers les différentes couches d'un AVLLM pour produire les sorties textuelles finales. Nous constatons que bien que les AVLLM encodent une riche sémantique audio dans les couches intermédiaires, ces capacités échouent largement à émerger dans la génération textuelle finale lorsque l'audio entre en conflit avec la vision. Des analyses par sondage montrent que des informations audio latentes utiles sont présentes, mais que les couches de fusion plus profondes privilégient de manière disproportionnée les représentations visuelles qui tendent à supprimer les indices audio. Nous retraçons ensuite ce déséquilibre jusqu'à l'entraînement : le comportement audio de l'AVLLM correspond fortement à son modèle de base vision-langage, indiquant un alignement supplémentaire limité avec la supervision audio. Nos résultats révèlent un biais modal fondamental dans les AVLLM et fournissent de nouvelles perspectives mécanistes sur la façon dont les LLM multimodaux intègrent l'audio et la vision.
English
Audio-Visual Large Language Models (AVLLMs) are emerging as unified interfaces to multimodal perception. We present the first mechanistic interpretability study of AVLLMs, analyzing how audio and visual features evolve and fuse through different layers of an AVLLM to produce the final text outputs. We find that although AVLLMs encode rich audio semantics at intermediate layers, these capabilities largely fail to surface in the final text generation when audio conflicts with vision. Probing analyses show that useful latent audio information is present, but deeper fusion layers disproportionately privilege visual representations that tend to suppress audio cues. We further trace this imbalance to training: the AVLLM's audio behavior strongly matches its vision-language base model, indicating limited additional alignment to audio supervision. Our findings reveal a fundamental modality bias in AVLLMs and provide new mechanistic insights into how multimodal LLMs integrate audio and vision.