Captionação Densa de Movimento

Resumo

Os avanços recentes na integração entre movimento humano 3D e linguagem têm-se concentrado principalmente na geração de texto-para-movimento, deixando a tarefa de compreensão de movimento relativamente inexplorada. Apresentamos a Legenda Densa de Movimento, uma nova tarefa que visa localizar temporalmente e descrever ações dentro de sequências de movimento humano 3D. Os conjuntos de dados atuais são insuficientes por não fornecerem anotações temporais detalhadas e consistirem predominantemente em sequências curtas com poucas ações. Para superar estas limitações, apresentamos o Complex Motion Dataset (CompMo), o primeiro conjunto de dados em larga escala com sequências de movimento complexas e ricamente anotadas, com limites temporais precisos. Construído através de um pipeline de geração de dados cuidadosamente concebido, o CompMo inclui 60.000 sequências de movimento, cada uma composta por múltiplas ações que variam de pelo menos duas a dez, anotadas com precisão quanto às suas extensões temporais. Apresentamos ainda o DEMO, um modelo que integra um grande modelo de linguagem com um adaptador de movimento simples, treinado para gerar legendas densas e temporalmente fundamentadas. Nossos experimentos mostram que o DEMO supera substancialmente os métodos existentes tanto no CompMo como em benchmarks adaptados, estabelecendo uma base robusta para pesquisas futuras em compreensão e legendagem de movimento 3D.

English

Recent advances in 3D human motion and language integration have primarily focused on text-to-motion generation, leaving the task of motion understanding relatively unexplored. We introduce Dense Motion Captioning, a novel task that aims to temporally localize and caption actions within 3D human motion sequences. Current datasets fall short in providing detailed temporal annotations and predominantly consist of short sequences featuring few actions. To overcome these limitations, we present the Complex Motion Dataset (CompMo), the first large-scale dataset featuring richly annotated, complex motion sequences with precise temporal boundaries. Built through a carefully designed data generation pipeline, CompMo includes 60,000 motion sequences, each composed of multiple actions ranging from at least two to ten, accurately annotated with their temporal extents. We further present DEMO, a model that integrates a large language model with a simple motion adapter, trained to generate dense, temporally grounded captions. Our experiments show that DEMO substantially outperforms existing methods on CompMo as well as on adapted benchmarks, establishing a robust baseline for future research in 3D motion understanding and captioning.