HumanSense: Da Percepção Multimodal a Respostas Contextuais Empáticas através de Raciocínio com MLLMs
HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs
August 14, 2025
Autores: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang
cs.AI
Resumo
Embora os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstrem um potencial imenso para alcançar interações verdadeiramente humanas, o progresso é dificultado pela falta de estruturas de avaliação detalhadas para cenários centrados no ser humano, abrangendo tanto a compreensão de intenções humanas complexas quanto a oferta de respostas empáticas e contextualmente conscientes. Aqui, apresentamos o HumanSense, um benchmark abrangente projetado para avaliar as capacidades de percepção e interação centradas no ser humano dos MLLMs, com um foco particular na compreensão profunda de contextos multimodais estendidos e na formulação de feedback racional. Nossa avaliação revela que os principais MLLMs ainda têm um espaço considerável para melhoria, especialmente em tarefas avançadas orientadas para interação. A suplementação da entrada visual com informações de áudio e texto resulta em melhorias substanciais, e os modelos Omni-modais mostram vantagens nessas tarefas. Além disso, argumentamos que o feedback apropriado surge de uma análise contextual das necessidades e emoções do interlocutor, com a capacidade de raciocínio servindo como a chave para desbloqueá-lo. Consequentemente, empregamos um aprendizado por reforço progressivo em múltiplos estágios e modalidades para aprimorar as habilidades de raciocínio de um modelo Omni, alcançando ganhos substanciais nos resultados da avaliação. Adicionalmente, observamos que processos de raciocínio bem-sucedidos exibem padrões de pensamento altamente consistentes. Ao projetar prompts correspondentes, também melhoramos o desempenho de modelos sem raciocínio de maneira livre de treinamento. Página do projeto: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/
English
While Multimodal Large Language Models (MLLMs) show immense promise for
achieving truly human-like interactions, progress is hindered by the lack of
fine-grained evaluation frameworks for human-centered scenarios, encompassing
both the understanding of complex human intentions and the provision of
empathetic, context-aware responses. Here we introduce HumanSense, a
comprehensive benchmark designed to evaluate the human-centered perception and
interaction capabilities of MLLMs, with a particular focus on deep
understanding of extended multimodal contexts and the formulation of rational
feedback. Our evaluation reveals that leading MLLMs still have considerable
room for improvement, particularly for advanced interaction-oriented tasks.
Supplementing visual input with audio and text information yields substantial
improvements, and Omni-modal models show advantages on these tasks.
Furthermore, we argue that appropriate feedback stems from a contextual
analysis of the interlocutor's needs and emotions, with reasoning ability
serving as the key to unlocking it. Accordingly, we employ a multi-stage,
modality-progressive reinforcement learning to enhance the reasoning abilities
of an Omni model, achieving substantial gains on evaluation results.
Additionally, we observe that successful reasoning processes exhibit highly
consistent thought patterns. By designing corresponding prompts, we also
enhance the performance of non-reasoning models in a training-free manner.
Project page:
brightpinkhttps://digital-avatar.github.io/ai/HumanSense/