Human101: 단일 뷰에서 100초 만에 100+FPS 인간 가우시안 모델 학습

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

저자: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

초록

단일 뷰 비디오로부터 인간 신체를 재구성하는 것은 가상 현실 분야에서 중요한 역할을 합니다. 특히, 높은 충실도의 3D 디지털 인간을 빠르게 재구성하면서 동시에 실시간 렌더링과 상호작용을 보장해야 하는 일반적인 응용 시나리오가 있습니다. 기존 방법들은 이러한 두 가지 요구 사항을 모두 충족시키는 데 어려움을 겪습니다. 본 논문에서는 Human101이라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 1-view 비디오로부터 고품질의 동적 3D 인간 재구성을 생성하는 데 능숙하며, 3D 가우시안을 100초 내에 학습하고 100+ FPS로 렌더링할 수 있습니다. 우리의 방법은 3D 가우시안 스플래팅의 강점을 활용하여 3D 인간을 명시적이고 효율적으로 표현합니다. 기존의 NeRF 기반 파이프라인과 달리, Human101은 인간 중심의 전방향 가우시안 애니메이션 방법을 독창적으로 적용하여 3D 가우시안의 매개변수를 변형함으로써 렌더링 속도를 향상시킵니다(즉, 1024 해상도 이미지를 60+ FPS로, 512 해상도 이미지를 100+ FPS로 렌더링). 실험 결과는 우리의 접근 방식이 현재의 방법들을 크게 능가하며, 초당 프레임 수가 최대 10배 증가하고 렌더링 품질이 비슷하거나 더 우수함을 보여줍니다. 코드와 데모는 https://github.com/longxiang-ai/Human101에서 공개될 예정입니다.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.