Os Grandes Modelos de Linguagem Áudio-Visuais Realmente Veem e Ouvem?
Do Audio-Visual Large Language Models Really See and Hear?
April 3, 2026
Autores: Ramaneswaran Selvakumar, Kaousheik Jayakumar, S Sakshi, Sreyan Ghosh, Ruohan Gao, Dinesh Manocha
cs.AI
Resumo
Os Modelos de Linguagem de Grande Porte Áudio-Visuais (AVLLMs) estão emergindo como interfaces unificadas para a percepção multimodal. Apresentamos o primeiro estudo de interpretabilidade mecanicista de AVLLMs, analisando como as características de áudio e visão evoluem e se fundem através das diferentes camadas de um AVLLM para produzir as saídas de texto finais. Constatamos que, embora os AVLLMs codifiquem uma rica semântica de áudio em camadas intermediárias, essas capacidades geralmente não surgem na geração de texto final quando o áudio entra em conflito com a visão. Análises de sondagem mostram que informações latentes úteis de áudio estão presentes, mas as camadas de fusão mais profundas privilegiam desproporcionalmente as representações visuais, que tendem a suprir pistas de áudio. Ainda rastreamos esse desequilíbrio até o treinamento: o comportamento de áudio do AVLLM corresponde fortemente ao seu modelo base de visão e linguagem, indicando um alinhamento adicional limitado à supervisão de áudio. Nossas descobertas revelam um viés modal fundamental nos AVLLMs e fornecem novos insights mecanicistas sobre como os LLMs multimodais integram áudio e visão.
English
Audio-Visual Large Language Models (AVLLMs) are emerging as unified interfaces to multimodal perception. We present the first mechanistic interpretability study of AVLLMs, analyzing how audio and visual features evolve and fuse through different layers of an AVLLM to produce the final text outputs. We find that although AVLLMs encode rich audio semantics at intermediate layers, these capabilities largely fail to surface in the final text generation when audio conflicts with vision. Probing analyses show that useful latent audio information is present, but deeper fusion layers disproportionately privilege visual representations that tend to suppress audio cues. We further trace this imbalance to training: the AVLLM's audio behavior strongly matches its vision-language base model, indicating limited additional alignment to audio supervision. Our findings reveal a fundamental modality bias in AVLLMs and provide new mechanistic insights into how multimodal LLMs integrate audio and vision.