GPS-Gaussian: Generaliseerbaar pixelgewijs 3D Gaussian Splatting voor real-time menselijke novel view synthese
GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis
December 4, 2023
Auteurs: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu
cs.AI
Samenvatting
We presenteren een nieuwe aanpak, genaamd GPS-Gaussian, voor het synthetiseren van nieuwe aanzichten van een karakter in realtime. De voorgestelde methode maakt rendering in 2K-resolutie mogelijk onder een sparse-view camera-instelling. In tegenstelling tot de originele Gaussian Splatting of neurale impliciete renderingmethoden die per onderwerp optimalisaties vereisen, introduceren we Gaussian parameter maps gedefinieerd op de bronaanzichten en regresseren we direct Gaussian Splatting eigenschappen voor directe synthese van nieuwe aanzichten zonder fine-tuning of optimalisatie. Hiertoe trainen we onze Gaussian parameter regressiemodule op een grote hoeveelheid menselijke scan data, samen met een diepteschattingsmodule om 2D parameter maps naar 3D ruimte te tillen. Het voorgestelde raamwerk is volledig differentieerbaar en experimenten op verschillende datasets tonen aan dat onze methode state-of-the-art methoden overtreft terwijl het een uitzonderlijke renderingsnelheid bereikt.
English
We present a new approach, termed GPS-Gaussian, for synthesizing novel views
of a character in a real-time manner. The proposed method enables 2K-resolution
rendering under a sparse-view camera setting. Unlike the original Gaussian
Splatting or neural implicit rendering methods that necessitate per-subject
optimizations, we introduce Gaussian parameter maps defined on the source views
and regress directly Gaussian Splatting properties for instant novel view
synthesis without any fine-tuning or optimization. To this end, we train our
Gaussian parameter regression module on a large amount of human scan data,
jointly with a depth estimation module to lift 2D parameter maps to 3D space.
The proposed framework is fully differentiable and experiments on several
datasets demonstrate that our method outperforms state-of-the-art methods while
achieving an exceeding rendering speed.