CoMotion: Movimento 3D Concorde di Multi-persone

CoMotion: Concurrent Multi-person 3D Motion

April 16, 2025

Autori: Alejandro Newell, Peiyun Hu, Lahav Lipson, Stephan R. Richter, Vladlen Koltun

cs.AI

Abstract

Introduciamo un approccio per il rilevamento e il monitoraggio di pose 3D dettagliate di più persone da un singolo flusso video monoculare. Il nostro sistema mantiene previsioni temporalmente coerenti in scene affollate caratterizzate da pose complesse e occlusioni. Il nostro modello esegue sia un rilevamento robusto per ogni fotogramma sia un aggiornamento appreso della pose per tracciare le persone da un fotogramma all'altro. Invece di associare i rilevamenti nel tempo, le pose vengono aggiornate direttamente da una nuova immagine in ingresso, consentendo il monitoraggio in tempo reale anche in presenza di occlusioni. Addestriamo il modello su numerosi dataset di immagini e video sfruttando annotazioni pseudo-etichettate, producendo un sistema che eguaglia le prestazioni dei migliori sistemi di stato dell'arte in termini di accuratezza nella stima delle pose 3D, risultando al contempo più veloce e preciso nel tracciamento di più persone nel tempo. Codice e pesi sono disponibili all'indirizzo https://github.com/apple/ml-comotion.

English

We introduce an approach for detecting and tracking detailed 3D poses of multiple people from a single monocular camera stream. Our system maintains temporally coherent predictions in crowded scenes filled with difficult poses and occlusions. Our model performs both strong per-frame detection and a learned pose update to track people from frame to frame. Rather than match detections across time, poses are updated directly from a new input image, which enables online tracking through occlusion. We train on numerous image and video datasets leveraging pseudo-labeled annotations to produce a model that matches state-of-the-art systems in 3D pose estimation accuracy while being faster and more accurate in tracking multiple people through time. Code and weights are provided at https://github.com/apple/ml-comotion