AVERE: Verbetering van Audiovisueel Emotiebegrip met Preferentie-optimalisatie

AVERE: Improving Audiovisual Emotion Reasoning with Preference Optimization

February 4, 2026

Auteurs: Ashutosh Chaubey, Jiacheng Pang, Maksim Siniukov, Mohammad Soleymani

cs.AI

Samenvatting

Emotiebegrip is essentieel voor het ontwikkelen van sociaal intelligente agents. Hoewel recente multimodale grote taalmodellen sterke prestaties vertonen bij deze taak, blijven twee belangrijke uitdagingen bestaan: spurious associaties tussen emoties en irrelevante audiovisuele cues, en hallucinaties van audiovisuele cues die worden aangedreven door tekstpriors in de taalmodel-backbone. Om deze problemen te kwantificeren en te begrijpen, introduceren we EmoReAlM, een benchmark ontworpen om MLLM's te evalueren op cue-emotie-associaties, hallucinaties en modaliteitsconsistentie. Vervolgens stellen we AVEm-DPO voor, een preference-optimalisatietechniek die modelresponsen afstemt op zowel audiovisuele invoer als emotiegerichte queries. Specifiek construeren we voorkeuren voor responsen die spurious associaties of hallucinaties vertonen, en audiovisuele invoerparen geleid door tekstuele prompts. We voegen ook een regularisatieterm toe die afhankelijkheid van tekstpriors bestraft, waardoor hallucinaties van modaliteit-specifieke cues worden verminderd. Experimentele resultaten op DFEW, RAVDESS en EMER tonen aan dat onze methode de prestaties van de referentie-baselinemodellen significant verbetert met relatieve prestatieverbeteringen van 6-19% in zero-shot settings. Door zowel een rigoureuze benchmark als een robuust optimalisatiekader te bieden, maakt dit werk principiële evaluatie en verbetering van MLLM's voor emotiebegrip en sociale AI mogelijk. Code, modellen en benchmark worden vrijgegeven op https://avere-iclr.github.io.

English

Emotion understanding is essential for building socially intelligent agents. Although recent multimodal large language models have shown strong performance on this task, two key challenges remain - spurious associations between emotions and irrelevant audiovisual cues, and hallucinations of audiovisual cues driven by text priors in the language model backbone. To quantify and understand these issues, we introduce EmoReAlM, a benchmark designed to evaluate MLLMs for cue-emotion associations, hallucinations and modality agreement. We then propose AVEm-DPO, a preference optimization technique that aligns model responses with both audiovisual inputs and emotion-centric queries. Specifically, we construct preferences over responses exhibiting spurious associations or hallucinations, and audiovisual input pairs guided by textual prompts. We also include a regularization term that penalizes reliance on text priors, thereby mitigating modality-specific cue hallucinations. Experimental results on DFEW, RAVDESS and EMER demonstrate that our method significantly improves the performance of the reference baseline models with 6-19% of relative performance gains in zero-shot settings. By providing both a rigorous benchmark and a robust optimization framework, this work enables principled evaluation and improvement of MLLMs for emotion understanding and social AI. Code, models and benchmark will be released at https://avere-iclr.github.io.