GPS-Gaussian: Esplatado Gaussiano 3D Generalizable por Píxel para la Síntesis en Tiempo Real de Nuevas Vistas Humanas

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

December 4, 2023

Autores: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu

cs.AI

Resumen

Presentamos un nuevo enfoque, denominado GPS-Gaussian, para sintetizar vistas novedosas de un personaje en tiempo real. El método propuesto permite la renderización en resolución 2K bajo una configuración de cámaras de vistas escasas. A diferencia de los métodos originales de Gaussian Splatting o renderización implícita neuronal que requieren optimizaciones por sujeto, introducimos mapas de parámetros Gaussianos definidos en las vistas de origen y regresamos directamente las propiedades de Gaussian Splatting para la síntesis instantánea de vistas novedosas sin necesidad de ajustes finos u optimización. Para ello, entrenamos nuestro módulo de regresión de parámetros Gaussianos con una gran cantidad de datos de escaneos humanos, junto con un módulo de estimación de profundidad para elevar los mapas de parámetros 2D al espacio 3D. El marco propuesto es completamente diferenciable, y los experimentos en varios conjuntos de datos demuestran que nuestro método supera a los métodos más avanzados mientras logra una velocidad de renderización excepcional.

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.