Когда зрение говорит за звук

Аннотация

Несмотря на стремительный прогресс в области видеоспособных MLLM, мы обнаруживаем, что их кажущееся понимание аудио в видео часто является зрительно-обусловленным: модели полагаются на визуальные подсказки, чтобы выводить или галлюцинировать акустическую информацию, вместо проверки аудиопотока. Эта проблема проявляется как в современных open-source omni-моделях, так и в ведущих закрытых моделях от таких провайдеров, как Google и OpenAI. Мы характеризуем этот режим отказа как аудиовизуальный эффект Умного Ганса, при котором модели кажутся (ложно) опирающимися на аудио, но на самом деле эксплуатируют визуально-акустические корреляции, не проверяя, действительно ли аудио- и видеопотоки согласованы. Для систематического изучения такого поведения мы представляем Thud — основанный на вмешательствах фреймворк для зондирования, использующий три контрфактические звуковые правки: Сдвиг (проверка временной синхронизации), Отключение (проверка наличия звука) и Замена (проверка аудиовизуальной согласованности). Помимо диагностики, мы также исследуем двухэтапный рецепт выравнивания: полученные с помощью вмешательства пары предпочтений обучают аудиоверификации, в то время как общие видеопредпочтения на уровне событий регуляризуют модель против чрезмерной специализации. Наш лучший рецепт с 10 тыс. образцов улучшает среднюю производительность по трем измерениям вмешательства на 28 процентных пунктов, при этом незначительно улучшая производительность на общих бенчмарках для видео и аудиовизуальных вопросов-ответов.

English

Despite rapid progress in video-capable MLLMs, we find that their apparent audio understanding in videos is often vision-driven: models rely on visual cues to infer or hallucinate acoustic information, rather than verifying the audio stream. This issue appears across both state-of-the-art open-source omni models and leading closed-source models from providers such as Google and OpenAI. We characterize this failure mode as an audio-visual Clever Hans effect, in which models appear (falsely) audio-grounded, but actually exploit visual-acoustic correlations without verifying whether the audio and visual streams are truly aligned. To systematically study this behavior, we introduce Thud, an intervention-driven probing framework based on three counterfactual audio edits: Shift, which tests temporal synchronization; Mute, which tests sound existence; and Swap, which tests audio-visual consistency. Beyond diagnosis, we further study a two-stage alignment recipe: intervention-derived preference pairs teach audio verification, while event-level general video preferences regularize the model against over-specialization. Our best 10K-sample recipe improves average performance across the three intervention dimensions by 28 percentage points, while slightly improving performance on general video and audio-visual QA benchmarks.