MMHU: Um Benchmark Multimodal em Grande Escala para Compreensão do Comportamento Humano

MMHU: A Massive-Scale Multimodal Benchmark for Human Behavior Understanding

July 16, 2025

Autores: Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

cs.AI

Resumo

Os seres humanos são componentes integrais do ecossistema de transporte, e compreender seus comportamentos é crucial para facilitar o desenvolvimento de sistemas de condução seguros. Embora avanços recentes tenham explorado vários aspectos do comportamento humano—como movimento, trajetórias e intenção—um benchmark abrangente para avaliar a compreensão do comportamento humano na condução autônoma ainda não está disponível. Neste trabalho, propomos o MMHU, um benchmark em larga escala para análise do comportamento humano, caracterizado por anotações ricas, como movimento e trajetórias humanas, descrição textual dos movimentos humanos, intenção humana e rótulos de comportamento crítico relevantes para a segurança na condução. Nosso conjunto de dados abrange 57 mil clipes de movimento humano e 1,73 milhão de quadros coletados de diversas fontes, incluindo conjuntos de dados de condução estabelecidos, como o Waymo, vídeos capturados em ambientes reais do YouTube e dados coletados por nós mesmos. Um pipeline de anotação com intervenção humana foi desenvolvido para gerar descrições detalhadas de comportamentos. Fornecemos uma análise detalhada do conjunto de dados e avaliamos múltiplas tarefas—desde a previsão de movimento até a geração de movimento e a resposta a perguntas sobre comportamento humano—oferecendo, assim, uma suíte de avaliação abrangente. Página do projeto: https://MMHU-Benchmark.github.io.

English

Humans are integral components of the transportation ecosystem, and understanding their behaviors is crucial to facilitating the development of safe driving systems. Although recent progress has explored various aspects of human behaviorx2014such as motion, trajectories, and intentionx2014a comprehensive benchmark for evaluating human behavior understanding in autonomous driving remains unavailable. In this work, we propose MMHU, a large-scale benchmark for human behavior analysis featuring rich annotations, such as human motion and trajectories, text description for human motions, human intention, and critical behavior labels relevant to driving safety. Our dataset encompasses 57k human motion clips and 1.73M frames gathered from diverse sources, including established driving datasets such as Waymo, in-the-wild videos from YouTube, and self-collected data. A human-in-the-loop annotation pipeline is developed to generate rich behavior captions. We provide a thorough dataset analysis and benchmark multiple tasksx2014ranging from motion prediction to motion generation and human behavior question answeringx2014thereby offering a broad evaluation suite. Project page : https://MMHU-Benchmark.github.io.