Human101: 単一視点から100秒で100+FPSの人間ガウシアンをトレーニング

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

著者: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

要旨

単一視点のビデオから人体を再構築することは、バーチャルリアリティ領域において重要な役割を果たします。一般的なアプリケーションシナリオでは、高精細な3Dデジタルヒューマンを迅速に再構築しつつ、リアルタイムレンダリングとインタラクションを同時に確保する必要があります。既存の手法では、これらの両方の要件を満たすことが困難でした。本論文では、Human101という新しいフレームワークを紹介します。このフレームワークは、1視点のビデオから高精細な動的3D人体再構築を可能にし、3Dガウシアンを100秒でトレーニングし、100+ FPSでレンダリングします。我々の手法は、3Dガウシアンスプラッティングの強みを活用し、3D人体の明示的かつ効率的な表現を提供します。従来のNeRFベースのパイプラインとは異なり、Human101は、Human-centric Forward Gaussian Animation法を巧みに適用して3Dガウシアンのパラメータを変形させ、レンダリング速度を向上させます（つまり、1024解像度の画像を60+ FPSで、512解像度の画像を100+ FPSでレンダリングします）。実験結果は、我々のアプローチが現在の手法を大幅に上回り、フレームレートが最大10倍向上し、同等または優れたレンダリング品質を提供することを示しています。コードとデモはhttps://github.com/longxiang-ai/Human101で公開されます。

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.