Human101: Entrenamiento de Gaussianas Humanas a más de 100 FPS en 100 segundos a partir de una Vista Única

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

Autores: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

Resumen

La reconstrucción del cuerpo humano a partir de vídeos de una sola vista desempeña un papel fundamental en el ámbito de la realidad virtual. Un escenario de aplicación común exige la reconstrucción rápida de humanos digitales 3D de alta fidelidad, al mismo tiempo que se garantiza la renderización e interacción en tiempo real. Los métodos existentes suelen tener dificultades para cumplir ambos requisitos. En este artículo, presentamos Human101, un marco novedoso capaz de generar reconstrucciones 3D dinámicas de alta fidelidad a partir de vídeos de 1 vista, entrenando Gaussianas 3D en 100 segundos y renderizando a más de 100 FPS. Nuestro método aprovecha las ventajas de la técnica de "Splatting" con Gaussianas 3D, que proporciona una representación explícita y eficiente de humanos en 3D. A diferencia de los enfoques basados en NeRF anteriores, Human101 aplica de manera ingeniosa un método de Animación Gaussiana Centrada en Humanos para deformar los parámetros de las Gaussianas 3D, mejorando así la velocidad de renderización (es decir, renderizando imágenes de 1024 píxeles de resolución a más de 60 FPS e imágenes de 512 píxeles a más de 100 FPS). Los resultados experimentales indican que nuestro enfoque supera ampliamente a los métodos actuales, alcanzando un aumento de hasta 10 veces en los fotogramas por segundo y ofreciendo una calidad de renderización comparable o superior. El código y las demostraciones estarán disponibles en https://github.com/longxiang-ai/Human101.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.