MMHU: Un punto de referencia multimodal a gran escala para la comprensión del comportamiento humano

MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding

July 16, 2025

Autores: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

cs.AI

Resumen

Los seres humanos son componentes integrales del ecosistema de transporte, y comprender sus comportamientos es crucial para facilitar el desarrollo de sistemas de conducción seguros. Aunque los avances recientes han explorado diversos aspectos del comportamiento humano—como el movimiento, las trayectorias y las intenciones—todavía no existe un punto de referencia integral para evaluar la comprensión del comportamiento humano en la conducción autónoma. En este trabajo, proponemos MMHU, un punto de referencia a gran escala para el análisis del comportamiento humano que incluye anotaciones detalladas, como el movimiento y las trayectorias humanas, descripciones textuales de los movimientos humanos, la intención humana y etiquetas de comportamiento crítico relevantes para la seguridad al conducir. Nuestro conjunto de datos abarca 57k clips de movimiento humano y 1.73M fotogramas recopilados de diversas fuentes, incluyendo conjuntos de datos de conducción establecidos como Waymo, videos en entornos naturales de YouTube y datos recolectados por nosotros mismos. Se ha desarrollado una pipeline de anotación con intervención humana para generar descripciones detalladas del comportamiento. Ofrecemos un análisis exhaustivo del conjunto de datos y evaluamos múltiples tareas—desde la predicción de movimiento hasta la generación de movimiento y la respuesta a preguntas sobre el comportamiento humano—proporcionando así una suite de evaluación amplia. Página del proyecto: https://MMHU-Benchmark.github.io.

English

Humans are integral components of the transportation ecosystem, and understanding their behaviors is crucial to facilitating the development of safe driving systems. Although recent progress has explored various aspects of human behaviorx2014such as motion, trajectories, and intentionx2014a comprehensive benchmark for evaluating human behavior understanding in autonomous driving remains unavailable. In this work, we propose MMHU, a large-scale benchmark for human behavior analysis featuring rich annotations, such as human motion and trajectories, text description for human motions, human intention, and critical behavior labels relevant to driving safety. Our dataset encompasses 57k human motion clips and 1.73M frames gathered from diverse sources, including established driving datasets such as Waymo, in-the-wild videos from YouTube, and self-collected data. A human-in-the-loop annotation pipeline is developed to generate rich behavior captions. We provide a thorough dataset analysis and benchmark multiple tasksx2014ranging from motion prediction to motion generation and human behavior question answeringx2014thereby offering a broad evaluation suite. Project page : https://MMHU-Benchmark.github.io.