HumanSense: Van Multimodale Waarneming tot Empathische Contextbewuste Reacties via Redenerende MLLM's

HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs

August 14, 2025

Auteurs: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang

cs.AI

Samenvatting

Hoewel Multimodale Grote Taalmodellen (MLLMs) enorme belofte tonen voor het bereiken van echt mensachtige interacties, wordt de vooruitgang belemmerd door het gebrek aan fijnmazige evaluatiekaders voor mensgerichte scenario's, die zowel het begrip van complexe menselijke intenties als het bieden van empathische, contextbewuste reacties omvatten. Hier introduceren we HumanSense, een uitgebreide benchmark ontworpen om de mensgerichte perceptie- en interactiecapaciteiten van MLLMs te evalueren, met een bijzondere focus op diepgaand begrip van uitgebreide multimodale contexten en het formuleren van rationele feedback. Onze evaluatie toont aan dat toonaangevende MLLMs nog aanzienlijke ruimte voor verbetering hebben, vooral voor geavanceerde interactiegerichte taken. Het aanvullen van visuele input met audio- en tekstinformatie levert aanzienlijke verbeteringen op, en Omni-modale modellen tonen voordelen bij deze taken. Verder stellen we dat passende feedback voortkomt uit een contextuele analyse van de behoeften en emoties van de gesprekspartner, waarbij redeneervermogen de sleutel is om dit te ontgrendelen. Dienovereenkomstig gebruiken we een meerfasige, modaliteitsprogressieve reinforcement learning om de redeneervermogens van een Omni-model te verbeteren, wat aanzienlijke winsten oplevert in de evaluatieresultaten. Daarnaast observeren we dat succesvolle redeneerprocessen zeer consistente denkpatronen vertonen. Door bijbehorende prompts te ontwerpen, verbeteren we ook de prestaties van niet-redeneermodellen op een trainingsvrije manier. Projectpagina: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/

English

While Multimodal Large Language Models (MLLMs) show immense promise for achieving truly human-like interactions, progress is hindered by the lack of fine-grained evaluation frameworks for human-centered scenarios, encompassing both the understanding of complex human intentions and the provision of empathetic, context-aware responses. Here we introduce HumanSense, a comprehensive benchmark designed to evaluate the human-centered perception and interaction capabilities of MLLMs, with a particular focus on deep understanding of extended multimodal contexts and the formulation of rational feedback. Our evaluation reveals that leading MLLMs still have considerable room for improvement, particularly for advanced interaction-oriented tasks. Supplementing visual input with audio and text information yields substantial improvements, and Omni-modal models show advantages on these tasks. Furthermore, we argue that appropriate feedback stems from a contextual analysis of the interlocutor's needs and emotions, with reasoning ability serving as the key to unlocking it. Accordingly, we employ a multi-stage, modality-progressive reinforcement learning to enhance the reasoning abilities of an Omni model, achieving substantial gains on evaluation results. Additionally, we observe that successful reasoning processes exhibit highly consistent thought patterns. By designing corresponding prompts, we also enhance the performance of non-reasoning models in a training-free manner. Project page: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/