Description Dense du Mouvement

papers.abstract

Les récentes avancées dans l'intégration du mouvement humain 3D et du langage se sont principalement concentrées sur la génération de texte vers le mouvement, laissant la tâche de compréhension du mouvement relativement inexplorée. Nous introduisons l'Annotation Dense du Mouvement, une nouvelle tâche qui vise à localiser temporellement et à décrire les actions au sein de séquences de mouvement humain 3D. Les jeux de données actuels sont insuffisants pour fournir des annotations temporelles détaillées et consistent principalement en de courtes séquences comportant peu d'actions. Pour surmonter ces limitations, nous présentons le Complex Motion Dataset (CompMo), le premier jeu de données à grande échelle comportant des séquences de mouvement complexes richement annotées avec des limites temporelles précises. Construit grâce à une pipeline de génération de données soigneusement conçue, CompMo comprend 60 000 séquences de mouvement, chacune composée de multiples actions allant d'au moins deux à dix, annotées avec précision selon leur étendue temporelle. Nous présentons également DEMO, un modèle qui intègre un grand modèle de langage avec un simple adaptateur de mouvement, entraîné pour générer des descriptions denses et temporellement ancrées. Nos expériences montrent que DEMO surpasse substantiellement les méthodes existantes sur CompMo ainsi que sur des benchmarks adaptés, établissant une base solide pour les futures recherches en compréhension et annotation du mouvement 3D.

English

Recent advances in 3D human motion and language integration have primarily focused on text-to-motion generation, leaving the task of motion understanding relatively unexplored. We introduce Dense Motion Captioning, a novel task that aims to temporally localize and caption actions within 3D human motion sequences. Current datasets fall short in providing detailed temporal annotations and predominantly consist of short sequences featuring few actions. To overcome these limitations, we present the Complex Motion Dataset (CompMo), the first large-scale dataset featuring richly annotated, complex motion sequences with precise temporal boundaries. Built through a carefully designed data generation pipeline, CompMo includes 60,000 motion sequences, each composed of multiple actions ranging from at least two to ten, accurately annotated with their temporal extents. We further present DEMO, a model that integrates a large language model with a simple motion adapter, trained to generate dense, temporally grounded captions. Our experiments show that DEMO substantially outperforms existing methods on CompMo as well as on adapted benchmarks, establishing a robust baseline for future research in 3D motion understanding and captioning.