DressRecon: Ricostruzione umana 4D libera da video monoculari

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

Autori: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

Abstract

Presentiamo un metodo per ricostruire modelli di corpo umano temporalmente consistenti da video monoculari, concentrandoci su abiti estremamente larghi o interazioni con oggetti tenuti in mano. Lavori precedenti sulla ricostruzione umana sono limitati a indumenti aderenti senza interazioni con oggetti, oppure richiedono acquisizioni multivista calibrate o scansioni di modelli personalizzati che sono costose da raccogliere su larga scala. La nostra intuizione chiave per una ricostruzione di alta qualità e flessibile è la combinazione attenta di priori umani generici riguardanti la forma del corpo articolato (appresi da dati di addestramento su larga scala) con deformazioni articolate specifiche del video "bag-of-bones" (adattate a un singolo video tramite ottimizzazione al momento del test). Realizziamo ciò apprendendo un modello implicito neurale che disaccoppia le deformazioni del corpo rispetto agli abiti come strati di modelli di movimento separati. Per catturare la sottile geometria degli abiti, sfruttiamo priori basati sull'immagine come posa del corpo umano, normali della superficie e flusso ottico durante l'ottimizzazione. I campi neurali risultanti possono essere estratti in mesh temporalmente consistenti, o ulteriormente ottimizzati come gaussiane 3D esplicite per un rendering interattivo ad alta fedeltà. Su set di dati con deformazioni degli abiti e interazioni con oggetti altamente complesse, DressRecon produce ricostruzioni 3D di maggiore fedeltà rispetto alla letteratura precedente. Pagina del progetto: https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/