DressRecon: Freie 4D-Menschrekonstruktion aus monokularem Video

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

Autoren: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

Zusammenfassung

Wir präsentieren eine Methode zur Rekonstruktion zeitkonsistenter menschlicher Körpermodelle aus monokularen Videos, wobei der Fokus auf extrem lockerer Kleidung oder Interaktionen mit Handgegenständen liegt. Bisherige Arbeiten zur menschlichen Rekonstruktion beschränken sich entweder auf enge Kleidung ohne Objektinteraktionen oder erfordern kalibrierte Mehrsichtaufnahmen oder personalisierte Vorlagen-Scans, die in großem Maßstab teuer zu sammeln sind. Unser Schlüsselerkenntnis für eine hochwertige und dennoch flexible Rekonstruktion liegt in der sorgfältigen Kombination generischer menschlicher Prioritäten bezüglich der artikulierten Körperform (aus groß angelegten Trainingsdaten gelernt) mit video-spezifischen artikulierten "Bag-of-Bones"-Verformungen (angepasst an ein einziges Video durch Testzeit-Optimierung). Dies erreichen wir durch das Erlernen eines neuronalen impliziten Modells, das Körper- und Kleidungsverformungen als separate Bewegungsmodellschichten entwirrt. Um die feine Geometrie der Kleidung einzufangen, nutzen wir bildbasierte Prioritäten wie menschliche Körperhaltung, Oberflächennormalen und optischen Fluss während der Optimierung. Die resultierenden neuronalen Felder können in zeitkonsistente Netze extrahiert werden oder weiter optimiert werden, um als explizite 3D-Gaußsche für hochwertiges interaktives Rendern zu dienen. Bei Datensätzen mit äußerst herausfordernden Kleidungsverformungen und Objektinteraktionen erzielt DressRecon präzisere 3D-Rekonstruktionen als bisherige Arbeiten. Projektseite: https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/