Splatting 3D Gaussiano para Renderização em Tempo Real de Campos de Radiação

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Autores: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Resumo

Os métodos de Campo de Radiação revolucionaram recentemente a síntese de novas visões de cenas capturadas com múltiplas fotos ou vídeos. No entanto, alcançar alta qualidade visual ainda requer redes neurais que são custosas para treinar e renderizar, enquanto métodos mais rápidos recentes inevitavelmente trocam velocidade por qualidade. Para cenas ilimitadas e completas (em vez de objetos isolados) e renderização em resolução 1080p, nenhum método atual consegue atingir taxas de exibição em tempo real. Introduzimos três elementos-chave que nos permitem alcançar qualidade visual de ponta enquanto mantemos tempos de treinamento competitivos e, principalmente, permitem a síntese de novas visões em tempo real (>= 30 fps) com alta qualidade em resolução 1080p. Primeiro, partindo de pontos esparsos produzidos durante a calibração da câmera, representamos a cena com Gaussianas 3D que preservam propriedades desejáveis de campos de radiação volumétricos contínuos para otimização da cena, evitando cálculos desnecessários em espaços vazios; Segundo, realizamos uma otimização/densidade intercalada das Gaussianas 3D, notavelmente otimizando a covariância anisotrópica para alcançar uma representação precisa da cena; Terceiro, desenvolvemos um algoritmo rápido de renderização com consciência de visibilidade que suporta splatting anisotrópico e acelera tanto o treinamento quanto permite a renderização em tempo real. Demonstramos qualidade visual de ponta e renderização em tempo real em vários conjuntos de dados estabelecidos.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.