Human101: Het trainen van 100+ FPS menselijke Gaussians in 100 seconden vanuit 1 perspectief

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

Auteurs: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

Samenvatting

Het reconstrueren van het menselijk lichaam vanuit enkelvoudige videobeelden speelt een cruciale rol in het domein van virtual reality. Een veelvoorkomend toepassingsscenario vereist de snelle reconstructie van hoogwaardige 3D digitale mensen, terwijl tegelijkertijd real-time rendering en interactie worden gegarandeerd. Bestaande methoden hebben vaak moeite om aan beide vereisten te voldoen. In dit artikel introduceren we Human101, een nieuw framework dat in staat is om hoogwaardige dynamische 3D menselijke reconstructies te produceren vanuit 1-view video's door 3D Gaussians te trainen in 100 seconden en te renderen met 100+ FPS. Onze methode maakt gebruik van de sterke punten van 3D Gaussian Splatting, dat een expliciete en efficiënte representatie van 3D mensen biedt. In tegenstelling tot eerdere NeRF-gebaseerde pijplijnen, past Human101 op ingenieuze wijze een Human-centric Forward Gaussian Animation-methode toe om de parameters van 3D Gaussians te vervormen, waardoor de rendersnelheid wordt verbeterd (d.w.z., het renderen van 1024-resolutiebeelden met een indrukwekkende 60+ FPS en het renderen van 512-resolutiebeelden met 100+ FPS). Experimentele resultaten tonen aan dat onze aanpak huidige methoden aanzienlijk overtreft, met een toename van tot wel 10 keer in frames per seconde en het leveren van vergelijkbare of superieure renderkwaliteit. Code en demo's zullen worden vrijgegeven op https://github.com/longxiang-ai/Human101.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.