Dichte Bewegingsbeschrijving

Samenvatting

Recente vooruitgang in de integratie van 3D-menselijke beweging en taal heeft zich voornamelijk gericht op tekst-naar-beweging-generatie, waardoor de taak van bewegingbegrip relatief onderbelicht is gebleven. Wij introduceren Dense Motion Captioning, een nieuwe taak die tot doel heeft acties binnen 3D-menselijke bewegingssequenties temporeel te lokaliseren en te beschrijven. Bestaande datasets schieten tekort in het bieden van gedetailleerde temporele annotaties en bestaan voornamelijk uit korte sequenties met weinig acties. Om deze beperkingen te overwinnen, presenteren wij de Complex Motion Dataset (CompMo), de eerste grootschalige dataset met rijk geannoteerde, complexe bewegingssequenties met precieze temporele grenzen. CompMo, opgebouwd via een zorgvuldig ontworpen datageneratiepijplijn, omvat 60.000 bewegingssequenties die elk zijn samengesteld uit meerdere acties – variërend van minimaal twee tot tien – en die nauwkeurig zijn geannoteerd met hun temporele extenties. Verder presenteren wij DEMO, een model dat een groot taalmodel integreert met een eenvoudige bewegingadapter, getraind om dichte, temporeel verankerde bijschriften te genereren. Onze experimenten tonen aan dat DEMO aanzienlijk beter presteert dan bestaande methoden op CompMo evenals op aangepaste benchmarks, waarmee een robuuste basislijn wordt gevestigd voor toekomstig onderzoek naar 3D-bewegingbegrip en -beschrijving.

English

Recent advances in 3D human motion and language integration have primarily focused on text-to-motion generation, leaving the task of motion understanding relatively unexplored. We introduce Dense Motion Captioning, a novel task that aims to temporally localize and caption actions within 3D human motion sequences. Current datasets fall short in providing detailed temporal annotations and predominantly consist of short sequences featuring few actions. To overcome these limitations, we present the Complex Motion Dataset (CompMo), the first large-scale dataset featuring richly annotated, complex motion sequences with precise temporal boundaries. Built through a carefully designed data generation pipeline, CompMo includes 60,000 motion sequences, each composed of multiple actions ranging from at least two to ten, accurately annotated with their temporal extents. We further present DEMO, a model that integrates a large language model with a simple motion adapter, trained to generate dense, temporally grounded captions. Our experiments show that DEMO substantially outperforms existing methods on CompMo as well as on adapted benchmarks, establishing a robust baseline for future research in 3D motion understanding and captioning.