MMHU: Ein Benchmark für multimodales Verständnis menschlichen Verhaltens in großem Maßstab
MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding
July 16, 2025
papers.authors: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu
cs.AI
papers.abstract
Menschen sind integrale Bestandteile des Verkehrsökosystems, und das Verständnis ihres Verhaltens ist entscheidend für die Entwicklung sicherer Fahrassistenzsysteme. Obwohl jüngste Fortschritte verschiedene Aspekte des menschlichen Verhaltens untersucht haben – wie Bewegung, Trajektorien und Intention – fehlt bisher ein umfassender Benchmark zur Bewertung des Verständnisses menschlichen Verhaltens im autonomen Fahren. In dieser Arbeit stellen wir MMHU vor, einen groß angelegten Benchmark zur Analyse menschlichen Verhaltens, der umfangreiche Annotationen wie menschliche Bewegungen und Trajektorien, Textbeschreibungen für menschliche Bewegungen, menschliche Intentionen und kritische Verhaltenslabels in Bezug auf die Fahrsicherheit bietet. Unser Datensatz umfasst 57.000 menschliche Bewegungsclips und 1,73 Millionen Frames, die aus verschiedenen Quellen stammen, darunter etablierte Fahrzeugdatensätze wie Waymo, in freier Wildbahn aufgenommene Videos von YouTube und selbst gesammelte Daten. Eine Human-in-the-Loop-Annotation-Pipeline wurde entwickelt, um umfangreiche Verhaltensbeschreibungen zu generieren. Wir bieten eine detaillierte Analyse des Datensatzes und benchmarken mehrere Aufgaben – von der Bewegungsvorhersage über die Bewegungsgenerierung bis hin zur Beantwortung von Fragen zum menschlichen Verhalten – und stellen somit ein breites Evaluationsspektrum bereit. Projektseite: https://MMHU-Benchmark.github.io.
English
Humans are integral components of the transportation ecosystem, and
understanding their behaviors is crucial to facilitating the development of
safe driving systems. Although recent progress has explored various aspects of
human behaviorx2014such as motion, trajectories, and
intentionx2014a comprehensive benchmark for evaluating human
behavior understanding in autonomous driving remains unavailable. In this work,
we propose MMHU, a large-scale benchmark for human behavior analysis
featuring rich annotations, such as human motion and trajectories, text
description for human motions, human intention, and critical behavior labels
relevant to driving safety. Our dataset encompasses 57k human motion clips and
1.73M frames gathered from diverse sources, including established driving
datasets such as Waymo, in-the-wild videos from YouTube, and self-collected
data. A human-in-the-loop annotation pipeline is developed to generate rich
behavior captions. We provide a thorough dataset analysis and benchmark
multiple tasksx2014ranging from motion prediction to motion
generation and human behavior question answeringx2014thereby
offering a broad evaluation suite. Project page :
https://MMHU-Benchmark.github.io.