Плотное описание движения

Аннотация

Последние достижения в области интеграции трехмерного движения человека и языка в основном сосредоточены на генерации движения по тексту, оставляя задачу понимания движения относительно малоизученной. Мы представляем плотное описание движения (Dense Motion Captioning) — новую задачу, направленную на временную локализацию и описание действий в последовательностях 3D-движения человека. Существующие наборы данных не обеспечивают детальных временных аннотаций и преимущественно состоят из коротких последовательностей с малым количеством действий. Чтобы преодолеть эти ограничения, мы представляем Complex Motion Dataset (CompMo) — первый крупномасштабный набор данных, содержащий сложные последовательности движений с богатыми аннотациями и точными временными границами. Созданный с помощью тщательно разработанного конвейера генерации данных, CompMo включает 60 000 последовательностей движений, каждая из которых состоит из нескольких действий (от двух до десяти), точно аннотированных с указанием их временных интервалов. Мы также представляем модель DEMO, которая интегрирует большую языковую модель с простым адаптером для обработки движения, обученную генерировать плотные, временно привязанные описания. Наши эксперименты показывают, что DEMO существенно превосходит существующие методы как на CompMo, так и на адаптированных бенчмарках, устанавливая надежный базовый уровень для будущих исследований в области понимания и описания 3D-движения.

English

Recent advances in 3D human motion and language integration have primarily focused on text-to-motion generation, leaving the task of motion understanding relatively unexplored. We introduce Dense Motion Captioning, a novel task that aims to temporally localize and caption actions within 3D human motion sequences. Current datasets fall short in providing detailed temporal annotations and predominantly consist of short sequences featuring few actions. To overcome these limitations, we present the Complex Motion Dataset (CompMo), the first large-scale dataset featuring richly annotated, complex motion sequences with precise temporal boundaries. Built through a carefully designed data generation pipeline, CompMo includes 60,000 motion sequences, each composed of multiple actions ranging from at least two to ten, accurately annotated with their temporal extents. We further present DEMO, a model that integrates a large language model with a simple motion adapter, trained to generate dense, temporally grounded captions. Our experiments show that DEMO substantially outperforms existing methods on CompMo as well as on adapted benchmarks, establishing a robust baseline for future research in 3D motion understanding and captioning.