DressRecon: Reconstrucción Humana 4D de Forma Libre a partir de Video Monocular

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

Autores: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

Resumen

Presentamos un método para reconstruir modelos corporales humanos consistentes en el tiempo a partir de videos monoculares, centrándonos en ropa extremadamente suelta o interacciones con objetos sostenidos. El trabajo previo en reconstrucción humana se limita a ropa ajustada sin interacciones con objetos, o requiere capturas multivista calibradas o escaneos de plantillas personalizadas que son costosos de recopilar a gran escala. Nuestra clave para una reconstrucción de alta calidad pero flexible es la combinación cuidadosa de priors humanos genéricos sobre la forma articulada del cuerpo (aprendidos a partir de datos de entrenamiento a gran escala) con deformaciones articuladas específicas del video "bag-of-bones" (ajustadas a un solo video mediante optimización en tiempo de prueba). Logramos esto mediante el aprendizaje de un modelo implícito neural que descompone las deformaciones del cuerpo y la ropa como capas de modelos de movimiento separadas. Para capturar la geometría sutil de la ropa, aprovechamos priors basados en imágenes como la pose del cuerpo humano, las normales de la superficie y el flujo óptico durante la optimización. Los campos neurales resultantes pueden extraerse en mallas consistentes en el tiempo, o optimizarse aún más como gaussianas 3D explícitas para renderizado interactivo de alta fidelidad. En conjuntos de datos con deformaciones de ropa y interacciones con objetos altamente desafiantes, DressRecon produce reconstrucciones 3D de mayor fidelidad que el estado del arte previo. Página del proyecto: https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/