HumanSense: De la percepción multimodal a respuestas empáticas conscientes del contexto mediante razonamiento con MLLMs

HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs

August 14, 2025

Autores: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang

cs.AI

Resumen

Si bien los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) muestran un inmenso potencial para lograr interacciones verdaderamente humanas, el progreso se ve obstaculizado por la falta de marcos de evaluación detallados para escenarios centrados en el ser humano, que abarcan tanto la comprensión de intenciones humanas complejas como la provisión de respuestas empáticas y conscientes del contexto. Aquí presentamos HumanSense, un punto de referencia integral diseñado para evaluar las capacidades de percepción e interacción centradas en el ser humano de los MLLMs, con un enfoque particular en la comprensión profunda de contextos multimodales extendidos y la formulación de retroalimentación racional. Nuestra evaluación revela que los MLLMs líderes aún tienen un margen considerable de mejora, especialmente para tareas avanzadas orientadas a la interacción. Complementar la entrada visual con información de audio y texto produce mejoras sustanciales, y los modelos omni-modales muestran ventajas en estas tareas. Además, argumentamos que la retroalimentación apropiada surge de un análisis contextual de las necesidades y emociones del interlocutor, con la capacidad de razonamiento como la clave para desbloquearla. En consecuencia, empleamos un aprendizaje por refuerzo progresivo en múltiples etapas y modalidades para mejorar las capacidades de razonamiento de un modelo omni, logrando ganancias sustanciales en los resultados de evaluación. Adicionalmente, observamos que los procesos de razonamiento exitosos exhiben patrones de pensamiento altamente consistentes. Al diseñar indicaciones correspondientes, también mejoramos el rendimiento de modelos sin razonamiento de manera libre de entrenamiento. Página del proyecto: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/

English

While Multimodal Large Language Models (MLLMs) show immense promise for achieving truly human-like interactions, progress is hindered by the lack of fine-grained evaluation frameworks for human-centered scenarios, encompassing both the understanding of complex human intentions and the provision of empathetic, context-aware responses. Here we introduce HumanSense, a comprehensive benchmark designed to evaluate the human-centered perception and interaction capabilities of MLLMs, with a particular focus on deep understanding of extended multimodal contexts and the formulation of rational feedback. Our evaluation reveals that leading MLLMs still have considerable room for improvement, particularly for advanced interaction-oriented tasks. Supplementing visual input with audio and text information yields substantial improvements, and Omni-modal models show advantages on these tasks. Furthermore, we argue that appropriate feedback stems from a contextual analysis of the interlocutor's needs and emotions, with reasoning ability serving as the key to unlocking it. Accordingly, we employ a multi-stage, modality-progressive reinforcement learning to enhance the reasoning abilities of an Omni model, achieving substantial gains on evaluation results. Additionally, we observe that successful reasoning processes exhibit highly consistent thought patterns. By designing corresponding prompts, we also enhance the performance of non-reasoning models in a training-free manner. Project page: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/