HumanSense: От мультимодального восприятия к эмпатическим контекстно-зависимым ответам через рассуждение с использованием MLLM

HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs

August 14, 2025

Авторы: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang

cs.AI

Аннотация

Хотя мультимодальные большие языковые модели (MLLMs) демонстрируют огромный потенциал для достижения по-настоящему человекообразного взаимодействия, прогресс сдерживается отсутствием детализированных оценочных фреймворков для сценариев, ориентированных на человека, которые охватывают как понимание сложных человеческих намерений, так и предоставление эмпатичных, контекстно-осознанных ответов. В данной работе мы представляем HumanSense — всеобъемлющий бенчмарк, разработанный для оценки способностей MLLMs к восприятию и взаимодействию, ориентированным на человека, с особым акцентом на глубокое понимание расширенных мультимодальных контекстов и формулирование рациональной обратной связи. Наша оценка показывает, что ведущие MLLMs все еще имеют значительный потенциал для улучшения, особенно в задачах, ориентированных на продвинутое взаимодействие. Дополнение визуального ввода аудио- и текстовой информацией приводит к существенным улучшениям, а омни-модальные модели демонстрируют преимущества в этих задачах. Более того, мы утверждаем, что уместная обратная связь возникает из контекстного анализа потребностей и эмоций собеседника, где способность к рассуждению служит ключом к ее реализации. Соответственно, мы применяем многоэтапное, модально-прогрессивное обучение с подкреплением для улучшения способностей к рассуждению омни-модели, достигая значительного прогресса в результатах оценки. Кроме того, мы наблюдаем, что успешные процессы рассуждения демонстрируют высоко согласованные паттерны мышления. Разработав соответствующие промпты, мы также улучшаем производительность моделей без обучения, не требующего дополнительной тренировки. Страница проекта: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/

English

While Multimodal Large Language Models (MLLMs) show immense promise for achieving truly human-like interactions, progress is hindered by the lack of fine-grained evaluation frameworks for human-centered scenarios, encompassing both the understanding of complex human intentions and the provision of empathetic, context-aware responses. Here we introduce HumanSense, a comprehensive benchmark designed to evaluate the human-centered perception and interaction capabilities of MLLMs, with a particular focus on deep understanding of extended multimodal contexts and the formulation of rational feedback. Our evaluation reveals that leading MLLMs still have considerable room for improvement, particularly for advanced interaction-oriented tasks. Supplementing visual input with audio and text information yields substantial improvements, and Omni-modal models show advantages on these tasks. Furthermore, we argue that appropriate feedback stems from a contextual analysis of the interlocutor's needs and emotions, with reasoning ability serving as the key to unlocking it. Accordingly, we employ a multi-stage, modality-progressive reinforcement learning to enhance the reasoning abilities of an Omni model, achieving substantial gains on evaluation results. Additionally, we observe that successful reasoning processes exhibit highly consistent thought patterns. By designing corresponding prompts, we also enhance the performance of non-reasoning models in a training-free manner. Project page: brightpinkhttps://digital-avatar.github.io/ai/HumanSense/