MVGS: Splatting Gaussiano Regulado por Vistas Múltiples para la Síntesis de Nuevas Vistas

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

Autores: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

Resumen

Trabajos recientes en renderizado de volumen, como NeRF y 3D Gaussian Splatting (3DGS), avanzan significativamente en la calidad y eficiencia del renderizado con la ayuda del campo de radiación neural implícita aprendido o de los Gaussianos 3D. Al renderizar sobre una representación explícita, el 3DGS básico y sus variantes ofrecen eficiencia en tiempo real al optimizar el modelo paramétrico con supervisión de una sola vista por iteración durante el entrenamiento, adoptado de NeRF. En consecuencia, ciertas vistas son sobreajustadas, lo que conduce a una apariencia insatisfactoria en la síntesis de vistas novedosas y geometrías 3D imprecisas. Para resolver los problemas mencionados, proponemos un nuevo método de optimización de 3DGS que incorpora cuatro contribuciones clave: 1) Transformamos el paradigma convencional de entrenamiento de una sola vista en una estrategia de entrenamiento multi-vista. Con nuestra regulación multi-vista propuesta, los atributos Gaussianos 3D se optimizan aún más sin sobreajustar ciertas vistas de entrenamiento. Como solución general, mejoramos la precisión general en una variedad de escenarios y diferentes variantes Gaussianas. 2) Inspirados en el beneficio introducido por vistas adicionales, proponemos además un esquema de guía cruzada intrínseca, lo que conduce a un procedimiento de entrenamiento de grueso a fino en relación con diferentes resoluciones. 3) Basándonos en nuestro entrenamiento regulado multi-vista, proponemos además una estrategia de densificación cruzada de rayos, densificando más núcleos Gaussianos en las regiones de intersección de rayos a partir de una selección de vistas. 4) Al investigar más a fondo la estrategia de densificación, encontramos que el efecto de la densificación debe mejorarse cuando ciertas vistas son distintas de manera drástica. Como solución, proponemos una novedosa estrategia de densificación aumentada multi-vista, donde se anima a los Gaussianos 3D a densificarse a un número suficiente en consecuencia, lo que resulta en una mayor precisión de reconstrucción.

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.