CoMotion: Gleichzeitige 3D-Bewegung mehrerer Personen

CoMotion: Concurrent Multi-person 3D Motion

April 16, 2025

Autoren: Alejandro Newell, Peiyun Hu, Lahav Lipson, Stephan R. Richter, Vladlen Koltun

cs.AI

Zusammenfassung

Wir stellen einen Ansatz zur Erkennung und Verfolgung detaillierter 3D-Posen mehrerer Personen aus einem einzelnen monokularen Kamerastrom vor. Unser System gewährleistet zeitlich kohärente Vorhersagen in überfüllten Szenen mit schwierigen Posen und Verdeckungen. Unser Modell führt sowohl eine robuste Einzelbilderkennung als auch eine gelernte Pose-Aktualisierung durch, um Personen von Bild zu Bild zu verfolgen. Anstatt Erkennungen über die Zeit hinweg abzugleichen, werden die Posen direkt aus einem neuen Eingabebild aktualisiert, was eine Online-Verfolgung durch Verdeckungen ermöglicht. Wir trainieren auf zahlreichen Bild- und Videodatensätzen unter Nutzung pseudo-beschrifteter Annotationen, um ein Modell zu erstellen, das in der Genauigkeit der 3D-Posenschätzung mit state-of-the-art Systemen mithält, während es schneller und präziser in der Verfolgung mehrerer Personen über die Zeit ist. Code und Gewichte sind unter https://github.com/apple/ml-comotion verfügbar.

English

We introduce an approach for detecting and tracking detailed 3D poses of multiple people from a single monocular camera stream. Our system maintains temporally coherent predictions in crowded scenes filled with difficult poses and occlusions. Our model performs both strong per-frame detection and a learned pose update to track people from frame to frame. Rather than match detections across time, poses are updated directly from a new input image, which enables online tracking through occlusion. We train on numerous image and video datasets leveraging pseudo-labeled annotations to produce a model that matches state-of-the-art systems in 3D pose estimation accuracy while being faster and more accurate in tracking multiple people through time. Code and weights are provided at https://github.com/apple/ml-comotion