Grilles d'opacité binaires : Capturer les détails géométriques fins pour la synthèse de vues basée sur des maillages

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Auteurs: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Résumé

Bien que les algorithmes de synthèse de vues basés sur les surfaces soient attrayants en raison de leurs faibles exigences computationnelles, ils peinent souvent à reproduire des structures fines. En revanche, des méthodes plus coûteuses qui modélisent la géométrie de la scène sous forme de champ de densité volumétrique (par exemple, NeRF) excellent dans la reconstruction de détails géométriques précis. Cependant, les champs de densité représentent souvent la géométrie de manière "floue", ce qui entrave la localisation exacte de la surface. Dans ce travail, nous modifions les champs de densité pour les encourager à converger vers les surfaces, sans compromettre leur capacité à reconstruire des structures fines. Premièrement, nous utilisons une représentation de grille d'opacité discrète au lieu d'un champ de densité continu, ce qui permet aux valeurs d'opacité de passer de manière discontinue de zéro à un à la surface. Deuxièmement, nous appliquons un anti-crénelage en lançant plusieurs rayons par pixel, ce qui permet de modéliser les limites d'occlusion et les structures sous-pixel sans utiliser de voxels semi-transparents. Troisièmement, nous minimisons l'entropie binaire des valeurs d'opacité, ce qui facilite l'extraction de la géométrie de surface en encourageant les valeurs d'opacité à se binariser vers la fin de l'entraînement. Enfin, nous développons une stratégie de maillage basée sur la fusion, suivie d'une simplification du maillage et d'un ajustement du modèle d'apparence. Les maillages compacts produits par notre modèle peuvent être rendus en temps réel sur des appareils mobiles et atteignent une qualité de synthèse de vue significativement supérieure par rapport aux approches existantes basées sur les maillages.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.