GPS-Gaussian: Splatting 3D Gaussiano Generalizzabile a Livello di Pixel per la Sintesi in Tempo Reale di Nuove Visualizzazioni Umane

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

December 4, 2023

Autori: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu

cs.AI

Abstract

Presentiamo un nuovo approccio, denominato GPS-Gaussian, per sintetizzare nuove viste di un personaggio in tempo reale. Il metodo proposto consente il rendering a risoluzione 2K in un contesto di acquisizione con telecamere a vista sparsa. A differenza dei metodi originali di Gaussian Splatting o del rendering neurale implicito che richiedono ottimizzazioni specifiche per ogni soggetto, introduciamo mappe di parametri Gaussiani definite sulle viste sorgente e regrediamo direttamente le proprietà del Gaussian Splatting per la sintesi istantanea di nuove viste senza alcuna messa a punto o ottimizzazione. A tal fine, addestriamo il nostro modulo di regressione dei parametri Gaussiani su una vasta quantità di dati di scansione umana, insieme a un modulo di stima della profondità per sollevare le mappe di parametri 2D nello spazio 3D. Il framework proposto è completamente differenziabile e gli esperimenti su diversi dataset dimostrano che il nostro metodo supera gli approcci all'avanguardia, raggiungendo una velocità di rendering eccezionale.

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.