MVGS : Éclatement gaussien régulé multi-vues pour la synthèse de nouvelles vues

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

Auteurs: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

Résumé

Les travaux récents en rendu volumétrique, tels que NeRF et le Splatting Gaussien 3D (3DGS), font progresser de manière significative la qualité et l'efficacité du rendu grâce au champ de radiance neurale implicite appris ou aux Gaussiennes 3D. En rendu sur une représentation explicite, le 3DGS classique et ses variantes offrent une efficacité en temps réel en optimisant le modèle paramétrique avec une supervision à vue unique par itération pendant l'entraînement, adoptée de NeRF. En conséquence, certaines vues sont surajustées, entraînant une apparence insatisfaisante dans la synthèse de nouvelles vues et des géométries 3D imprécises. Pour résoudre les problèmes mentionnés ci-dessus, nous proposons une nouvelle méthode d'optimisation du 3DGS incorporant quatre contributions clés novatrices : 1) Nous transformons le paradigme d'entraînement à vue unique conventionnel en une stratégie d'entraînement à vues multiples. Avec notre régulation multi-vues proposée, les attributs Gaussiens 3D sont davantage optimisés sans surajustement de certaines vues d'entraînement. En tant que solution générale, nous améliorons la précision globale dans une variété de scénarios et de différentes variantes Gaussiennes. 2) Inspirés par les avantages introduits par des vues supplémentaires, nous proposons en outre un schéma de guidage croisé-intrinsèque, menant à une procédure d'entraînement grossier à fin concernant différentes résolutions. 3) Basé sur notre entraînement régulé multi-vues, nous proposons en outre une stratégie de densification croisée des rayons, densifiant davantage de noyaux Gaussiens dans les régions d'intersection des rayons à partir d'une sélection de vues. 4) En approfondissant la stratégie de densification, nous avons constaté que l'effet de densification devrait être renforcé lorsque certaines vues sont nettement distinctes. En tant que solution, nous proposons une nouvelle stratégie de densification augmentée multi-vues, où les Gaussiennes 3D sont encouragées à être densifiées jusqu'à un nombre suffisant en conséquence, ce qui se traduit par une amélioration de la précision de la reconstruction.

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.