Human101 : Entraînement de Gaussiennes Humaines à plus de 100 FPS en 100 secondes à partir d'une seule vue

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

Auteurs: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

Résumé

La reconstruction du corps humain à partir de vidéos monoscopiques joue un rôle central dans le domaine de la réalité virtuelle. Un scénario d'application courant nécessite la reconstruction rapide d'humains numériques 3D de haute fidélité tout en garantissant un rendu et une interaction en temps réel. Les méthodes existantes peinent souvent à satisfaire ces deux exigences. Dans cet article, nous présentons Human101, un nouveau cadre capable de produire des reconstructions 3D dynamiques de haute fidélité à partir de vidéos monoscopiques en entraînant des Gaussiennes 3D en 100 secondes et en rendant à plus de 100 FPS. Notre méthode exploite les avantages du *3D Gaussian Splatting*, qui fournit une représentation explicite et efficace des humains 3D. Se distinguant des pipelines basés sur NeRF, Human101 applique de manière ingénieuse une méthode d'animation gaussienne centrée sur l'humain pour déformer les paramètres des Gaussiennes 3D, améliorant ainsi la vitesse de rendu (c'est-à-dire le rendu d'images en résolution 1024 à plus de 60 FPS et en résolution 512 à plus de 100 FPS). Les résultats expérimentaux montrent que notre approche surpasse largement les méthodes actuelles, avec une augmentation allant jusqu'à 10 fois en termes d'images par seconde et une qualité de rendu comparable ou supérieure. Le code et les démonstrations seront disponibles sur https://github.com/longxiang-ai/Human101.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.