Dichte Bewegungsbeschreibung

papers.abstract

Jüngste Fortschritte bei der Integration von 3D-Menschlicher Bewegung und Sprache konzentrierten sich hauptsächlich auf die Text-zu-Bewegung-Generierung, wodurch die Aufgabe des Bewegungsverständnisses relativ unerforscht blieb. Wir führen Dense Motion Captioning ein, eine neuartige Aufgabe, die darauf abzielt, Aktionen innerhalb von 3D-Bewegungssequenzen des Menschen temporal zu lokalisieren und zu beschreiben. Derzeitige Datensätze bieten keine detaillierten temporalen Annotationen und bestehen überwiegend aus kurzen Sequenzen mit wenigen Aktionen. Um diese Einschränkungen zu überwinden, stellen wir den Complex Motion Dataset (CompMo) vor, den ersten groß angelegten Datensatz mit umfangreich annotierten, komplexen Bewegungssequenzen und präzisen temporalen Grenzen. CompMo, erstellt durch eine sorgfältig gestaltete Datengenerierungspipeline, umfasst 60.000 Bewegungssequenzen, die jeweils aus mehreren Aktionen bestehen – von mindestens zwei bis zu zehn –, die präzise mit ihren temporalen Ausdehnungen annotiert sind. Wir stellen weiterhin DEMO vor, ein Modell, das ein großes Sprachmodell mit einem einfachen Motion Adapter integriert und darauf trainiert ist, dichte, temporal verankerte Beschreibungen zu generieren. Unsere Experimente zeigen, dass DEMO auf CompMo sowie auf angepassten Benchmarks bestehende Methoden erheblich übertrifft und damit eine robuste Baseline für zukünftige Forschung im Bereich 3D-Bewegungsverständnis und -beschreibung etabliert.

English

Recent advances in 3D human motion and language integration have primarily focused on text-to-motion generation, leaving the task of motion understanding relatively unexplored. We introduce Dense Motion Captioning, a novel task that aims to temporally localize and caption actions within 3D human motion sequences. Current datasets fall short in providing detailed temporal annotations and predominantly consist of short sequences featuring few actions. To overcome these limitations, we present the Complex Motion Dataset (CompMo), the first large-scale dataset featuring richly annotated, complex motion sequences with precise temporal boundaries. Built through a carefully designed data generation pipeline, CompMo includes 60,000 motion sequences, each composed of multiple actions ranging from at least two to ten, accurately annotated with their temporal extents. We further present DEMO, a model that integrates a large language model with a simple motion adapter, trained to generate dense, temporally grounded captions. Our experiments show that DEMO substantially outperforms existing methods on CompMo as well as on adapted benchmarks, establishing a robust baseline for future research in 3D motion understanding and captioning.