MVGS: Sobreposição Gaussiana Regulada de Múltiplas Visualizações para Síntese de Novas Visualizações

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

Autores: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

Resumo

Trabalhos recentes em renderização de volume, como NeRF e Splatting Gaussiano 3D (3DGS), avançam significativamente a qualidade e eficiência de renderização com a ajuda do campo de radiância neural implícito aprendido ou Gaussiana 3D. Renderizando sobre uma representação explícita, o 3DGS convencional e suas variantes oferecem eficiência em tempo real otimizando o modelo paramétrico com supervisão de visão única por iteração durante o treinamento, adotado do NeRF. Como resultado, certas visões são superajustadas, levando a uma aparência insatisfatória na síntese de novas visões e geometrias 3D imprecisas. Para resolver os problemas mencionados, propomos um novo método de otimização 3DGS que incorpora quatro contribuições-chave inovadoras: 1) Transformamos o paradigma convencional de treinamento de visão única em uma estratégia de treinamento de múltiplas visões. Com nossa regulamentação de múltiplas visões proposta, os atributos Gaussianos 3D são otimizados sem superajuste de certas visões de treinamento. Como solução geral, melhoramos a precisão geral em uma variedade de cenários e diferentes variantes Gaussianas. 2) Inspirados pelo benefício introduzido por visões adicionais, propomos ainda um esquema de orientação cruzada intrínseca, levando a um procedimento de treinamento de grosso a fino em relação a diferentes resoluções. 3) Construído sobre nosso treinamento regulado de múltiplas visões, propomos ainda uma estratégia de densificação de raios cruzados, densificando mais kernels Gaussianos nas regiões de interseção de raios a partir de uma seleção de visões. 4) Ao investigar mais a estratégia de densificação, descobrimos que o efeito da densificação deve ser aprimorado quando certas visões são distintas dramaticamente. Como solução, propomos uma nova estratégia de densificação aumentada de múltiplas visões, onde as Gaussianas 3D são incentivadas a serem densificadas para um número suficiente, resultando em uma precisão de reconstrução aprimorada.

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.