Действительно ли аудиовизуальные большие языковые модели видят и слышат?
Do Audio-Visual Large Language Models Really See and Hear?
April 3, 2026
Авторы: Ramaneswaran Selvakumar, Kaousheik Jayakumar, S Sakshi, Sreyan Ghosh, Ruohan Gao, Dinesh Manocha
cs.AI
Аннотация
Аудиовизуальные большие языковые модели (АВБЯМ) становятся унифицированными интерфейсами для мультимодального восприятия. Мы представляем первое исследование механистической интерпретируемости АВБЯМ, анализируя, как аудио- и визуальные признаки эволюционируют и объединяются в различных слоях модели для генерации итогового текста. Мы обнаружили, что хотя АВБЯМ кодируют богатую аудиосемантику на промежуточных слоях, эти возможности в значительной степени не проявляются в конечной текстовой генерации, когда аудиосигнал конфликтует с визуальным. Зондирующий анализ показывает, что полезная латентная аудиоинформация присутствует, но более глубокие слои интеграции непропорционально привилегируют визуальные репрезентации, которые склонны подавлять аудиоподсказки. Мы также прослеживаем этот дисбаланс до этапа обучения: аудиоповедение АВБЯМ сильно соответствует ее базовой визуально-языковой модели, что указывает на ограниченное дополнительное согласование с аудио-супервизией. Наши результаты выявляют фундаментальную модальную предвзятость в АВБЯМ и дают новое механистическое понимание того, как мультимодальные большие языковые модели интегрируют аудио и видео.
English
Audio-Visual Large Language Models (AVLLMs) are emerging as unified interfaces to multimodal perception. We present the first mechanistic interpretability study of AVLLMs, analyzing how audio and visual features evolve and fuse through different layers of an AVLLM to produce the final text outputs. We find that although AVLLMs encode rich audio semantics at intermediate layers, these capabilities largely fail to surface in the final text generation when audio conflicts with vision. Probing analyses show that useful latent audio information is present, but deeper fusion layers disproportionately privilege visual representations that tend to suppress audio cues. We further trace this imbalance to training: the AVLLM's audio behavior strongly matches its vision-language base model, indicating limited additional alignment to audio supervision. Our findings reveal a fundamental modality bias in AVLLMs and provide new mechanistic insights into how multimodal LLMs integrate audio and vision.