GPS-Gaussian: Generalisierbares pixelweises 3D-Gaussian Splatting für Echtzeit-Neuansichtssynthese von Menschen
GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis
December 4, 2023
Autoren: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu
cs.AI
Zusammenfassung
Wir präsentieren einen neuen Ansatz, genannt GPS-Gaussian, zur Synthese neuer Ansichten einer Figur in Echtzeit. Die vorgeschlagene Methode ermöglicht das Rendering in 2K-Auflösung unter einer spärlichen Kameraperspektive. Im Gegensatz zum ursprünglichen Gaussian Splatting oder neuronalen impliziten Rendering-Verfahren, die eine Optimierung pro Subjekt erfordern, führen wir Gaußsche Parameterkarten ein, die auf den Quellansichten definiert sind, und regressieren direkt die Eigenschaften des Gaussian Splatting für die sofortige Synthese neuer Ansichten ohne jegliche Feinabstimmung oder Optimierung. Zu diesem Zweck trainieren wir unser Gaußsches Parameter-Regressionsmodul auf einer großen Menge von menschlichen Scan-Daten, gemeinsam mit einem Tiefenschätzmodul, um 2D-Parameterkarten in den 3D-Raum zu überführen. Das vorgeschlagene Framework ist vollständig differenzierbar, und Experimente auf mehreren Datensätzen zeigen, dass unsere Methode den Stand der Technik übertrifft und dabei eine außergewöhnliche Rendering-Geschwindigkeit erreicht.
English
We present a new approach, termed GPS-Gaussian, for synthesizing novel views
of a character in a real-time manner. The proposed method enables 2K-resolution
rendering under a sparse-view camera setting. Unlike the original Gaussian
Splatting or neural implicit rendering methods that necessitate per-subject
optimizations, we introduce Gaussian parameter maps defined on the source views
and regress directly Gaussian Splatting properties for instant novel view
synthesis without any fine-tuning or optimization. To this end, we train our
Gaussian parameter regression module on a large amount of human scan data,
jointly with a depth estimation module to lift 2D parameter maps to 3D space.
The proposed framework is fully differentiable and experiments on several
datasets demonstrate that our method outperforms state-of-the-art methods while
achieving an exceeding rendering speed.