HumanSense: Dalla percezione multimodale a risposte empatiche e contestualmente consapevoli attraverso il ragionamento con MLLM

HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs

August 14, 2025

Autori: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang

cs.AI

Abstract

Sebbene i Modelli Linguistici Multimodali di Grande Scala (MLLMs) mostrino un enorme potenziale per raggiungere interazioni veramente simili a quelle umane, il progresso è ostacolato dalla mancanza di framework di valutazione granulari per scenari centrati sull'uomo, che comprendano sia la comprensione di intenzioni umane complesse sia la fornitura di risposte empatiche e consapevoli del contesto. Qui presentiamo HumanSense, un benchmark completo progettato per valutare le capacità di percezione e interazione centrate sull'uomo degli MLLMs, con un particolare focus sulla comprensione profonda di contesti multimodali estesi e sulla formulazione di feedback razionali. La nostra valutazione rivela che i principali MLLMs hanno ancora un margine di miglioramento considerevole, specialmente per compiti di interazione avanzati. L'integrazione di input visivi con informazioni audio e testuali produce miglioramenti sostanziali, e i modelli Omni-modali mostrano vantaggi in questi compiti. Inoltre, sosteniamo che un feedback appropriato derivi da un'analisi contestuale dei bisogni e delle emozioni dell'interlocutore, con la capacità di ragionamento che funge da chiave per sbloccarlo. Di conseguenza, utilizziamo un apprendimento per rinforzo multi-stadio e progressivo nelle modalità per potenziare le capacità di ragionamento di un modello Omni, ottenendo guadagni significativi nei risultati di valutazione. In aggiunta, osserviamo che i processi di ragionamento di successo mostrano schemi di pensiero altamente consistenti. Progettando prompt corrispondenti, miglioriamo anche le prestazioni di modelli non basati sul ragionamento in modo privo di addestramento. Pagina del progetto: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/

English

While Multimodal Large Language Models (MLLMs) show immense promise for achieving truly human-like interactions, progress is hindered by the lack of fine-grained evaluation frameworks for human-centered scenarios, encompassing both the understanding of complex human intentions and the provision of empathetic, context-aware responses. Here we introduce HumanSense, a comprehensive benchmark designed to evaluate the human-centered perception and interaction capabilities of MLLMs, with a particular focus on deep understanding of extended multimodal contexts and the formulation of rational feedback. Our evaluation reveals that leading MLLMs still have considerable room for improvement, particularly for advanced interaction-oriented tasks. Supplementing visual input with audio and text information yields substantial improvements, and Omni-modal models show advantages on these tasks. Furthermore, we argue that appropriate feedback stems from a contextual analysis of the interlocutor's needs and emotions, with reasoning ability serving as the key to unlocking it. Accordingly, we employ a multi-stage, modality-progressive reinforcement learning to enhance the reasoning abilities of an Omni model, achieving substantial gains on evaluation results. Additionally, we observe that successful reasoning processes exhibit highly consistent thought patterns. By designing corresponding prompts, we also enhance the performance of non-reasoning models in a training-free manner. Project page: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/