Grades Binárias de Opacidade: Capturando Detalhes Geométricos Finos para Síntese de Visualização Baseada em Malhas

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Autores: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Resumo

Embora os algoritmos de síntese de visão baseados em superfície sejam atraentes devido aos seus baixos requisitos computacionais, eles frequentemente têm dificuldade em reproduzir estruturas finas. Em contraste, métodos mais custosos que modelam a geometria da cena como um campo de densidade volumétrica (por exemplo, NeRF) se destacam na reconstrução de detalhes geométricos finos. No entanto, os campos de densidade frequentemente representam a geometria de maneira "difusa", o que dificulta a localização exata da superfície. Neste trabalho, modificamos os campos de densidade para incentivá-los a convergir em direção às superfícies, sem comprometer sua capacidade de reconstruir estruturas finas. Primeiro, empregamos uma representação de grade de opacidade discreta em vez de um campo de densidade contínuo, o que permite que os valores de opacidade transitem de forma descontínua de zero para um na superfície. Segundo, realizamos anti-aliasing ao lançar múltiplos raios por pixel, o que permite que limites de oclusão e estruturas subpixel sejam modelados sem o uso de vóxels semitransparentes. Terceiro, minimizamos a entropia binária dos valores de opacidade, o que facilita a extração da geometria da superfície ao incentivar que os valores de opacidade se binarizem no final do treinamento. Por último, desenvolvemos uma estratégia de malha baseada em fusão, seguida de simplificação de malha e ajuste do modelo de aparência. As malhas compactas produzidas pelo nosso modelo podem ser renderizadas em tempo real em dispositivos móveis e alcançam uma qualidade de síntese de visão significativamente maior em comparação com as abordagens existentes baseadas em malha.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.