Human101: 単一視点から100秒で100+FPSの人間ガウシアンをトレーニング
Human101: Training 100+FPS Human Gaussians in 100s from 1 View
December 23, 2023
著者: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang
cs.AI
要旨
単眼ビデオからの人体再構築は、仮想現実分野において極めて重要な役割を果たしている。一般的な応用シナリオでは、高精細な3Dデジタルヒューマンの迅速な再構築が求められる一方で、リアルタイムレンダリングとインタラクションの同時確保が必須となる。既存手法ではこの両要件を満たすことが困難な場合が多い。本論文では、1視点のビデオから高精細な動的3D人体再構築を実現する新規フレームワークHuman101を提案する。本手法は3Dガウシアンを100秒で学習し、100+FPSでのレンダリングが可能である。我々の手法は、3D人体の明示的かつ効率的な表現を提供する3D Gaussian Splattingの利点を活かしている。従来のNeRFベースパイプラインとは一線を画し、Human101は人間中心のForward Gaussian Animation手法を考案し、3Dガウシアンのパラメータ変形を駆使することでレンダリング速度を飛躍的に向上させた（1024解像度画像で60+FPS、512解像度画像で100+FPSを実現）。実験結果によれば、本手法は既存手法を大幅に上回り、最大10倍のFPS向上と、同等または優れたレンダリング品質を達成している。コードとデモはhttps://github.com/longxiang-ai/Human101で公開予定である。
English
Reconstructing the human body from single-view videos plays a pivotal role in
the virtual reality domain. One prevalent application scenario necessitates the
rapid reconstruction of high-fidelity 3D digital humans while simultaneously
ensuring real-time rendering and interaction. Existing methods often struggle
to fulfill both requirements. In this paper, we introduce Human101, a novel
framework adept at producing high-fidelity dynamic 3D human reconstructions
from 1-view videos by training 3D Gaussians in 100 seconds and rendering in
100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which
provides an explicit and efficient representation of 3D humans. Standing apart
from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric
Forward Gaussian Animation method to deform the parameters of 3D Gaussians,
thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an
impressive 60+ FPS and rendering 512-resolution images at 100+ FPS).
Experimental results indicate that our approach substantially eclipses current
methods, clocking up to a 10 times surge in frames per second and delivering
comparable or superior rendering quality. Code and demos will be released at
https://github.com/longxiang-ai/Human101.