Mallas de Opacidad Binaria: Capturando Detalles Geométricos Finos para la Síntesis de Vistas Basada en Mallas

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Autores: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Resumen

Si bien los algoritmos de síntesis de vistas basados en superficies son atractivos debido a sus bajos requisitos computacionales, a menudo tienen dificultades para reproducir estructuras delgadas. En contraste, métodos más costosos que modelan la geometría de la escena como un campo de densidad volumétrica (por ejemplo, NeRF) sobresalen en la reconstrucción de detalles geométricos finos. Sin embargo, los campos de densidad suelen representar la geometría de manera "difusa", lo que dificulta la localización exacta de la superficie. En este trabajo, modificamos los campos de densidad para incentivarlos a converger hacia las superficies, sin comprometer su capacidad para reconstruir estructuras delgadas. Primero, empleamos una representación de cuadrícula de opacidad discreta en lugar de un campo de densidad continuo, lo que permite que los valores de opacidad transiten de manera discontinua de cero a uno en la superficie. Segundo, aplicamos anti-aliasing lanzando múltiples rayos por píxel, lo que permite modelar límites de oclusión y estructuras subpíxel sin utilizar vóxeles semitransparentes. Tercero, minimizamos la entropía binaria de los valores de opacidad, lo que facilita la extracción de la geometría de la superficie al incentivar que los valores de opacidad se binaricen hacia el final del entrenamiento. Por último, desarrollamos una estrategia de mallado basada en fusión, seguida de simplificación de mallas y ajuste del modelo de apariencia. Las mallas compactas producidas por nuestro modelo pueden renderizarse en tiempo real en dispositivos móviles y logran una calidad de síntesis de vistas significativamente mayor en comparación con los enfoques basados en mallas existentes.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.