MVGS: Multi-View-gesteuertes Gauss'sches Splatting zur Synthese neuer Ansichten

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

Autoren: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

Zusammenfassung

Neueste Arbeiten im Volumen-Rendering, z.B. NeRF und 3D-Gauß-Splatting (3DGS), verbessern signifikant die Rendering-Qualität und -Effizienz mit Hilfe des erlernten impliziten neuronalen Strahlungsfelds oder 3D-Gaußschen. Durch das Rendern über einer expliziten Darstellung liefern das herkömmliche 3DGS und seine Varianten Echtzeit-Effizienz, indem das parametrische Modell mit Single-View-Überwachung pro Iteration während des Trainings optimiert wird, was von NeRF übernommen wurde. Folglich werden bestimmte Ansichten überangepasst, was zu unbefriedigendem Erscheinungsbild bei der Synthese von neuartigen Ansichten und ungenauen 3D-Geometrien führt. Um die genannten Probleme zu lösen, schlagen wir eine neue 3DGS-Optimierungsmethode vor, die vier Schlüsselneuheiten verkörpert: 1) Wir wandeln das herkömmliche Single-View-Trainingsparadigma in eine Multi-View-Trainingsstrategie um. Mit unserer vorgeschlagenen Multi-View-Regulierung werden 3D-Gauß-Merkmale weiter optimiert, ohne bestimmte Trainingsansichten zu überanpassen. Als allgemeine Lösung verbessern wir die Gesamtgenauigkeit in verschiedenen Szenarien und verschiedenen Gauß-Varianten. 2) Inspiriert von den Vorteilen zusätzlicher Ansichten schlagen wir weiterhin ein Cross-Intrinsic-Guidance-Schema vor, das zu einem Grob-zu-Fein-Trainingsverfahren bezüglich unterschiedlicher Auflösungen führt. 3) Aufbauend auf unserem Multi-View-regulierten Training schlagen wir weiterhin eine Cross-Ray-Dichtestrategie vor, die mehr Gaußsche Kerne in den Strahl-Schnittregionen aus einer Auswahl von Ansichten verdichtet. 4) Durch weitere Untersuchung der Verdichtungsstrategie stellten wir fest, dass die Wirkung der Verdichtung verstärkt werden sollte, wenn bestimmte Ansichten deutlich unterschiedlich sind. Als Lösung schlagen wir eine neuartige Multi-View-augmentierte Verdichtungsstrategie vor, bei der 3D-Gaußsche dazu ermutigt werden, entsprechend einer ausreichenden Anzahl verdichtet zu werden, was zu einer verbesserten Rekonstruktionsgenauigkeit führt.

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.