Digitalizzazione 3D di esseri umani da vista singola con modelli di ricostruzione su larga scala

Single-View 3D Human Digitalization with Large Reconstruction Models

January 22, 2024

Autori: Zhenzhen Weng, Jingyuan Liu, Hao Tan, Zhan Xu, Yang Zhou, Serena Yeung-Levy, Jimei Yang

cs.AI

Abstract

In questo articolo presentiamo Human-LRM, un Large Reconstruction Model a stadio singolo e feed-forward progettato per prevedere i Neural Radiance Fields (NeRF) umani a partire da una singola immagine. Il nostro approccio dimostra una notevole adattabilità nell'addestramento utilizzando ampi dataset contenenti scansioni 3D e acquisizioni multi-vista. Inoltre, per migliorare l'applicabilità del modello in scenari reali, specialmente in presenza di occlusioni, proponiamo una nuova strategia che distilla la ricostruzione multi-vista in una singola vista attraverso un modello di diffusione condizionale triplanare. Questa estensione generativa affronta le variazioni intrinseche delle forme del corpo umano osservate da una singola vista e rende possibile ricostruire l'intero corpo umano a partire da un'immagine occlusa. Attraverso esperimenti estensivi, dimostriamo che Human-LRM supera i metodi precedenti con un margine significativo su diversi benchmark.

English

In this paper, we introduce Human-LRM, a single-stage feed-forward Large Reconstruction Model designed to predict human Neural Radiance Fields (NeRF) from a single image. Our approach demonstrates remarkable adaptability in training using extensive datasets containing 3D scans and multi-view capture. Furthermore, to enhance the model's applicability for in-the-wild scenarios especially with occlusions, we propose a novel strategy that distills multi-view reconstruction into single-view via a conditional triplane diffusion model. This generative extension addresses the inherent variations in human body shapes when observed from a single view, and makes it possible to reconstruct the full body human from an occluded image. Through extensive experiments, we show that Human-LRM surpasses previous methods by a significant margin on several benchmarks.