Griglie di Opacità Binaria: Catturare il Dettaglio Geometrico Fine per la Sintesi di Viste Basata su Mesh

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Autori: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Abstract

Sebbene gli algoritmi di sintesi della vista basati su superfici siano attraenti per i loro bassi requisiti computazionali, spesso faticano a riprodurre strutture sottili. Al contrario, metodi più costosi che modellano la geometria della scena come un campo di densità volumetrica (ad esempio, NeRF) eccellono nella ricostruzione di dettagli geometrici fini. Tuttavia, i campi di densità spesso rappresentano la geometria in modo "sfocato", il che ostacola la localizzazione esatta della superficie. In questo lavoro, modifichiamo i campi di densità per incoraggiarli a convergere verso le superfici, senza compromettere la loro capacità di ricostruire strutture sottili. Innanzitutto, utilizziamo una rappresentazione a griglia di opacità discreta invece di un campo di densità continuo, che consente ai valori di opacità di passare in modo discontinuo da zero a uno sulla superficie. In secondo luogo, anti-aliasiamo lanciando più raggi per pixel, il che consente di modellare i confini di occlusione e le strutture sub-pixel senza utilizzare voxel semi-trasparenti. In terzo luogo, minimizziamo l'entropia binaria dei valori di opacità, il che facilita l'estrazione della geometria superficiale incoraggiando i valori di opacità a binarizzarsi verso la fine dell'addestramento. Infine, sviluppiamo una strategia di mesh basata sulla fusione, seguita da semplificazione della mesh e adattamento del modello di aspetto. Le mesh compatte prodotte dal nostro modello possono essere renderizzate in tempo reale su dispositivi mobili e raggiungono una qualità di sintesi della vista significativamente superiore rispetto agli approcci basati su mesh esistenti.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.