Human101: Training von 100+ FPS menschlichen Gaußschen in 100 Sekunden aus einer Ansicht

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

Autoren: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

Zusammenfassung

Die Rekonstruktion des menschlichen Körpers aus Einzelbildvideos spielt eine entscheidende Rolle im Bereich der virtuellen Realität. Ein verbreitetes Anwendungsszenario erfordert die schnelle Rekonstruktion von hochauflösenden 3D-Digitalmenschen bei gleichzeitiger Sicherstellung von Echtzeit-Rendering und Interaktion. Bestehende Methoden haben oft Schwierigkeiten, beide Anforderungen zu erfüllen. In diesem Artikel stellen wir Human101 vor, ein neuartiges Framework, das in der Lage ist, hochauflösende dynamische 3D-Menschenrekonstruktionen aus 1-Bildvideos zu erzeugen, indem es 3D-Gaußsche in 100 Sekunden trainiert und mit über 100 FPS rendert. Unser Ansatz nutzt die Stärken des 3D-Gaußschen Splattings, das eine explizite und effiziente Darstellung von 3D-Menschen bietet. Im Gegensatz zu früheren NeRF-basierten Pipelines wendet Human101 geschickt eine Human-centric Forward Gaussian Animation-Methode an, um die Parameter der 3D-Gaußschen zu verformen und dadurch die Rendering-Geschwindigkeit zu verbessern (d.h., Rendering von 1024-Auflösungsbildern mit beeindruckenden 60+ FPS und Rendering von 512-Auflösungsbildern mit 100+ FPS). Experimentelle Ergebnisse zeigen, dass unser Ansatz aktuelle Methoden deutlich übertrifft, mit einer Steigerung der Bildrate um bis zu das 10-fache und einer vergleichbaren oder überlegenen Rendering-Qualität. Code und Demos werden unter https://github.com/longxiang-ai/Human101 veröffentlicht.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.