Binäre Opazitätsgitter: Erfassung feiner geometrischer Details für netzbasierte Ansichtsynthese

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Autoren: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Zusammenfassung

Während oberflächenbasierte Algorithmen zur Ansichtssynthese aufgrund ihrer geringen Rechenanforderungen attraktiv sind, haben sie oft Schwierigkeiten, dünne Strukturen korrekt wiederzugeben. Im Gegensatz dazu sind aufwändigere Methoden, die die Geometrie der Szene als volumetrisches Dichtefeld modellieren (z. B. NeRF), hervorragend darin, feine geometrische Details zu rekonstruieren. Allerdings repräsentieren Dichtefelder die Geometrie oft auf eine „verschwommene“ Weise, was die exakte Lokalisierung der Oberfläche erschwert. In dieser Arbeit modifizieren wir Dichtefelder, um sie dazu zu bringen, sich in Richtung der Oberflächen zu konzentrieren, ohne ihre Fähigkeit zur Rekonstruktion dünner Strukturen zu beeinträchtigen. Erstens verwenden wir eine diskrete Opazitätsgitterdarstellung anstelle eines kontinuierlichen Dichtefelds, wodurch sich die Opazitätswerte an der Oberfläche diskontinuierlich von null auf eins ändern können. Zweitens verwenden wir Anti-Aliasing, indem wir mehrere Strahlen pro Pixel werfen, was es ermöglicht, Verdeckungsgrenzen und Subpixelstrukturen zu modellieren, ohne halbtransparente Voxel zu verwenden. Drittens minimieren wir die binäre Entropie der Opazitätswerte, was die Extraktion der Oberflächengeometrie erleichtert, indem die Opazitätswerte gegen Ende des Trainings binarisiert werden. Schließlich entwickeln wir eine fusionierungsbasierte Meshing-Strategie, gefolgt von Mesh-Vereinfachung und Anpassung des Erscheinungsmodells. Die kompakten Meshes, die unser Modell erzeugt, können in Echtzeit auf mobilen Geräten gerendert werden und erreichen eine deutlich höhere Qualität in der Ansichtssynthese im Vergleich zu bestehenden meshbasierten Ansätzen.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.