MMHU : Un benchmark multimodal à grande échelle pour la compréhension du comportement humain

MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding

July 16, 2025

papers.authors: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

cs.AI

papers.abstract

Les humains sont des composants essentiels de l'écosystème des transports, et comprendre leurs comportements est crucial pour faciliter le développement de systèmes de conduite sûrs. Bien que des progrès récents aient exploré divers aspects du comportement humain—tels que le mouvement, les trajectoires et les intentions—un benchmark complet pour évaluer la compréhension du comportement humain dans la conduite autonome reste indisponible. Dans ce travail, nous proposons MMHU, un benchmark à grande échelle pour l'analyse du comportement humain, comportant des annotations riches telles que le mouvement et les trajectoires humaines, des descriptions textuelles des mouvements humains, les intentions humaines et des étiquettes de comportement critiques liées à la sécurité routière. Notre ensemble de données comprend 57 000 clips de mouvement humain et 1,73 million d'images provenant de sources diverses, notamment des ensembles de données de conduite établis comme Waymo, des vidéos en conditions réelles de YouTube et des données auto-collectées. Un pipeline d'annotation avec intervention humaine est développé pour générer des descriptions détaillées des comportements. Nous fournissons une analyse approfondie de l'ensemble de données et évaluons plusieurs tâches—allant de la prédiction de mouvement à la génération de mouvement et à la réponse à des questions sur le comportement humain—offrant ainsi une suite d'évaluation complète. Page du projet : https://MMHU-Benchmark.github.io.

English

Humans are integral components of the transportation ecosystem, and understanding their behaviors is crucial to facilitating the development of safe driving systems. Although recent progress has explored various aspects of human behaviorx2014such as motion, trajectories, and intentionx2014a comprehensive benchmark for evaluating human behavior understanding in autonomous driving remains unavailable. In this work, we propose MMHU, a large-scale benchmark for human behavior analysis featuring rich annotations, such as human motion and trajectories, text description for human motions, human intention, and critical behavior labels relevant to driving safety. Our dataset encompasses 57k human motion clips and 1.73M frames gathered from diverse sources, including established driving datasets such as Waymo, in-the-wild videos from YouTube, and self-collected data. A human-in-the-loop annotation pipeline is developed to generate rich behavior captions. We provide a thorough dataset analysis and benchmark multiple tasksx2014ranging from motion prediction to motion generation and human behavior question answeringx2014thereby offering a broad evaluation suite. Project page : https://MMHU-Benchmark.github.io.