MMHU: Un Benchmark Multimodale su Larga Scala per la Comprensione del Comportamento Umano

MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding

July 16, 2025

Autori: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

cs.AI

Abstract

Gli esseri umani sono componenti integrali dell'ecosistema dei trasporti, e comprendere i loro comportamenti è fondamentale per facilitare lo sviluppo di sistemi di guida sicuri. Sebbene i recenti progressi abbiano esplorato vari aspetti del comportamento umano—come il movimento, le traiettorie e le intenzioni—un benchmark completo per valutare la comprensione del comportamento umano nella guida autonoma rimane indisponibile. In questo lavoro, proponiamo MMHU, un benchmark su larga scala per l'analisi del comportamento umano, caratterizzato da annotazioni ricche, come il movimento e le traiettorie umane, descrizioni testuali dei movimenti umani, intenzioni umane ed etichette di comportamenti critici rilevanti per la sicurezza alla guida. Il nostro dataset comprende 57k clip di movimento umano e 1.73M frame raccolti da fonti diverse, inclusi dataset di guida consolidati come Waymo, video in contesti reali da YouTube e dati auto-raccolti. È stato sviluppato un pipeline di annotazione con l'uomo nel ciclo per generare descrizioni dettagliate dei comportamenti. Forniamo un'analisi approfondita del dataset e benchmarkiamo molteplici task—dalla previsione del movimento alla generazione del movimento e al question answering sul comportamento umano—offrendo così una suite di valutazione ampia. Pagina del progetto: https://MMHU-Benchmark.github.io.

English

Humans are integral components of the transportation ecosystem, and understanding their behaviors is crucial to facilitating the development of safe driving systems. Although recent progress has explored various aspects of human behaviorx2014such as motion, trajectories, and intentionx2014a comprehensive benchmark for evaluating human behavior understanding in autonomous driving remains unavailable. In this work, we propose MMHU, a large-scale benchmark for human behavior analysis featuring rich annotations, such as human motion and trajectories, text description for human motions, human intention, and critical behavior labels relevant to driving safety. Our dataset encompasses 57k human motion clips and 1.73M frames gathered from diverse sources, including established driving datasets such as Waymo, in-the-wild videos from YouTube, and self-collected data. A human-in-the-loop annotation pipeline is developed to generate rich behavior captions. We provide a thorough dataset analysis and benchmark multiple tasksx2014ranging from motion prediction to motion generation and human behavior question answeringx2014thereby offering a broad evaluation suite. Project page : https://MMHU-Benchmark.github.io.