Binaire Opaciteitsroosters: Het Vastleggen van Fijne Geometrische Details voor Mesh-Gebaseerde Beeldsynthese

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Auteurs: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Samenvatting

Hoewel oppervlaktegebaseerde algoritmen voor viewsynthese aantrekkelijk zijn vanwege hun lage computationale eisen, hebben ze vaak moeite met het reproduceren van dunne structuren. Daarentegen excelleren duurdere methoden die de geometrie van de scène modelleren als een volumetrisch dichtheidsveld (bijv. NeRF) in het reconstrueren van fijne geometrische details. Dichtheidsvelden representeren geometrie echter vaak op een "wazige" manier, wat een exacte lokalisatie van het oppervlak belemmert. In dit werk passen we dichtheidsvelden aan om ze te stimuleren naar oppervlakken te convergeren, zonder hun vermogen om dunne structuren te reconstrueren in te perken. Ten eerste gebruiken we een discrete opacity grid-representatie in plaats van een continu dichtheidsveld, waardoor opacity-waarden discontinu kunnen overgaan van nul naar één bij het oppervlak. Ten tweede anti-aliassen we door meerdere stralen per pixel te casten, wat het modelleren van occlusiegrenzen en subpixelstructuren mogelijk maakt zonder semi-transparante voxels te gebruiken. Ten derde minimaliseren we de binaire entropie van de opacity-waarden, wat de extractie van oppervlaktegeometrie vergemakkelijkt door opacity-waarden te stimuleren om te binariseren tegen het einde van de training. Tot slot ontwikkelen we een fusiegebaseerde meshing-strategie gevolgd door mesh-simplificatie en aanpassing van het uiterlijkmodel. De compacte meshes die door ons model worden geproduceerd, kunnen in real-time worden gerenderd op mobiele apparaten en bereiken een aanzienlijk hogere kwaliteit van viewsynthese vergeleken met bestaande mesh-gebaseerde benaderingen.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.