GPS-Gaussian: Splatting Gaussiano 3D Generalizável por Pixel para Síntese de Novas Visões de Humanos em Tempo Real

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

December 4, 2023

Autores: Shunyuan Zheng, Boyao Zhou, Ruizhi Shao, Boning Liu, Shengping Zhang, Liqiang Nie, Yebin Liu

cs.AI

Resumo

Apresentamos uma nova abordagem, denominada GPS-Gaussian, para sintetizar novas visões de um personagem em tempo real. O método proposto permite renderização em resolução 2K sob uma configuração de câmera com visões esparsas. Diferentemente dos métodos originais de Gaussian Splatting ou renderização neural implícita que exigem otimizações por sujeito, introduzimos mapas de parâmetros Gaussianos definidos nas visões de origem e regredimos diretamente as propriedades do Gaussian Splatting para síntese instantânea de novas visões, sem qualquer ajuste fino ou otimização. Para isso, treinamos nosso módulo de regressão de parâmetros Gaussianos em uma grande quantidade de dados de varredura humana, em conjunto com um módulo de estimativa de profundidade para elevar mapas de parâmetros 2D para o espaço 3D. O framework proposto é totalmente diferenciável, e experimentos em diversos conjuntos de dados demonstram que nosso método supera os métodos state-of-the-art enquanto alcança uma velocidade de renderização excepcional.

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.