CoMotion: Movimiento 3D Concurrente para Múltiples Personas

CoMotion: Concurrent Multi-person 3D Motion

April 16, 2025

Autores: Alejandro Newell, Peiyun Hu, Lahav Lipson, Stephan R. Richter, Vladlen Koltun

cs.AI

Resumen

Presentamos un enfoque para detectar y rastrear poses 3D detalladas de múltiples personas a partir de un único flujo de cámara monocular. Nuestro sistema mantiene predicciones temporalmente coherentes en escenas concurridas con poses complejas y oclusiones. Nuestro modelo realiza tanto una detección robusta por fotograma como una actualización aprendida de la pose para rastrear a las personas de un fotograma a otro. En lugar de emparejar detecciones a lo largo del tiempo, las poses se actualizan directamente a partir de una nueva imagen de entrada, lo que permite el rastreo en línea a través de oclusiones. Entrenamos con numerosos conjuntos de datos de imágenes y videos, aprovechando anotaciones pseudoetiquetadas, para producir un modelo que iguala la precisión de los sistemas más avanzados en estimación de poses 3D, siendo más rápido y preciso en el rastreo de múltiples personas a lo largo del tiempo. El código y los pesos están disponibles en https://github.com/apple/ml-comotion.

English

We introduce an approach for detecting and tracking detailed 3D poses of multiple people from a single monocular camera stream. Our system maintains temporally coherent predictions in crowded scenes filled with difficult poses and occlusions. Our model performs both strong per-frame detection and a learned pose update to track people from frame to frame. Rather than match detections across time, poses are updated directly from a new input image, which enables online tracking through occlusion. We train on numerous image and video datasets leveraging pseudo-labeled annotations to produce a model that matches state-of-the-art systems in 3D pose estimation accuracy while being faster and more accurate in tracking multiple people through time. Code and weights are provided at https://github.com/apple/ml-comotion