GPS-Gaussian : Projection pixelisée généralisable par splatting 3D Gaussien pour la synthèse en temps réel de nouvelles vues humaines

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

December 4, 2023

Auteurs: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu

cs.AI

Résumé

Nous présentons une nouvelle approche, appelée GPS-Gaussian, pour synthétiser des vues nouvelles d'un personnage en temps réel. La méthode proposée permet un rendu en résolution 2K dans un contexte de caméras à vues éparses. Contrairement aux méthodes originales de Gaussian Splatting ou de rendu implicite neuronal qui nécessitent des optimisations par sujet, nous introduisons des cartes de paramètres gaussiens définies sur les vues sources et régressons directement les propriétés de Gaussian Splatting pour une synthèse instantanée de vues nouvelles sans aucun réglage fin ou optimisation. À cette fin, nous entraînons notre module de régression des paramètres gaussiens sur une grande quantité de données de scans humains, conjointement avec un module d'estimation de profondeur pour projeter les cartes de paramètres 2D dans l'espace 3D. Le cadre proposé est entièrement différentiable et les expériences sur plusieurs ensembles de données démontrent que notre méthode surpasse les méthodes de pointe tout en atteignant une vitesse de rendu exceptionnelle.

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.