AVERE: Miglioramento del Ragionamento Emotivo Audiovisivo con Ottimizzazione delle Preferenze
AVERE: Improving Audiovisual Emotion Reasoning with Preference Optimization
February 4, 2026
Autori: Ashutosh Chaubey, Jiacheng Pang, Maksim Siniukov, Mohammad Soleymani
cs.AI
Abstract
La comprensione delle emozioni è fondamentale per lo sviluppo di agenti socialmente intelligenti. Sebbene i recenti modelli linguistici multimodali di grandi dimensioni abbiano dimostrato prestazioni elevate in questo compito, permangono due sfide principali: associazioni spurie tra emozioni e segnali audiovisivi irrilevanti, e allucinazioni di segnali audiovisivi guidate dai preconcetti testuali nell'architettura del modello linguistico sottostante. Per quantificare e comprendere questi problemi, introduciamo EmoReAlM, un benchmark progettato per valutare i MLLM riguardo alle associazioni cue-emozione, alle allucinazioni e all'accordo modale. Proponiamo quindi AVEm-DPO, una tecnica di ottimizzazione delle preferenze che allinea le risposte del modello sia con gli input audiovisivi che con le query incentrate sulle emozioni. Nello specifico, costruiamo preferenze su risposte che mostrano associazioni spurie o allucinazioni, e su coppie di input audiovisivi guidate da prompt testuali. Includiamo anche un termine di regolarizzazione che penalizza la dipendenza dai preconcetti testuali, mitigando così le allucinazioni di cue specifici della modalità. I risultati sperimentali su DFEW, RAVDESS e EMER dimostrano che il nostro metodo migliora significativamente le prestazioni dei modelli baseline di riferimento con guadagni prestazionali relativi del 6-19% in contesti zero-shot. Fornendo sia un benchmark rigoroso che un solido framework di ottimizzazione, questo lavoro consente una valutazione e un miglioramento principiati dei MLLM per la comprensione emotiva e l'IA sociale. Codice, modelli e benchmark saranno rilasciati su https://avere-iclr.github.io.
English
Emotion understanding is essential for building socially intelligent agents. Although recent multimodal large language models have shown strong performance on this task, two key challenges remain - spurious associations between emotions and irrelevant audiovisual cues, and hallucinations of audiovisual cues driven by text priors in the language model backbone. To quantify and understand these issues, we introduce EmoReAlM, a benchmark designed to evaluate MLLMs for cue-emotion associations, hallucinations and modality agreement. We then propose AVEm-DPO, a preference optimization technique that aligns model responses with both audiovisual inputs and emotion-centric queries. Specifically, we construct preferences over responses exhibiting spurious associations or hallucinations, and audiovisual input pairs guided by textual prompts. We also include a regularization term that penalizes reliance on text priors, thereby mitigating modality-specific cue hallucinations. Experimental results on DFEW, RAVDESS and EMER demonstrate that our method significantly improves the performance of the reference baseline models with 6-19% of relative performance gains in zero-shot settings. By providing both a rigorous benchmark and a robust optimization framework, this work enables principled evaluation and improvement of MLLMs for emotion understanding and social AI. Code, models and benchmark will be released at https://avere-iclr.github.io.