MMHU: Een grootschalige multimodale benchmark voor het begrijpen van menselijk gedrag

MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding

July 16, 2025

Auteurs: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

cs.AI

Samenvatting

Mensen zijn essentiële componenten van het transportsysteem, en het begrijpen van hun gedrag is cruciaal voor de ontwikkeling van veilige rijsystemen. Hoewel recente vooruitgang verschillende aspecten van menselijk gedrag heeft onderzocht—zoals beweging, trajecten en intentie—ontbreekt er nog steeds een uitgebreide benchmark voor het evalueren van het begrip van menselijk gedrag in autonoom rijden. In dit werk stellen we MMHU voor, een grootschalige benchmark voor de analyse van menselijk gedrag, met uitgebreide annotaties zoals menselijke beweging en trajecten, tekstbeschrijvingen van menselijke bewegingen, menselijke intentie en labels voor kritiek gedrag dat relevant is voor de rijveiligheid. Onze dataset omvat 57k menselijke bewegingsclips en 1,73 miljoen frames, verzameld uit diverse bronnen, waaronder gevestigde rijdatasets zoals Waymo, in-the-wild video's van YouTube en zelf verzamelde data. Een human-in-the-loop annotatiepipeline is ontwikkeld om uitgebreide gedragsbeschrijvingen te genereren. We bieden een grondige datasetanalyse en benchmarken meerdere taken—variërend van bewegingsvoorspelling tot beweginggeneratie en het beantwoorden van vragen over menselijk gedrag—waardoor we een breed evaluatiepakket aanbieden. Projectpagina: https://MMHU-Benchmark.github.io.

English

Humans are integral components of the transportation ecosystem, and understanding their behaviors is crucial to facilitating the development of safe driving systems. Although recent progress has explored various aspects of human behaviorx2014such as motion, trajectories, and intentionx2014a comprehensive benchmark for evaluating human behavior understanding in autonomous driving remains unavailable. In this work, we propose MMHU, a large-scale benchmark for human behavior analysis featuring rich annotations, such as human motion and trajectories, text description for human motions, human intention, and critical behavior labels relevant to driving safety. Our dataset encompasses 57k human motion clips and 1.73M frames gathered from diverse sources, including established driving datasets such as Waymo, in-the-wild videos from YouTube, and self-collected data. A human-in-the-loop annotation pipeline is developed to generate rich behavior captions. We provide a thorough dataset analysis and benchmark multiple tasksx2014ranging from motion prediction to motion generation and human behavior question answeringx2014thereby offering a broad evaluation suite. Project page : https://MMHU-Benchmark.github.io.