Бинарные сетки непрозрачности: захват тонких геометрических деталей для синтеза изображений на основе сеток

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

Авторы: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

Аннотация

Хотя алгоритмы синтеза видов на основе поверхностей привлекательны благодаря своим низким вычислительным требованиям, они часто испытывают трудности с воспроизведением тонких структур. В отличие от них, более ресурсоемкие методы, которые моделируют геометрию сцены как объемное поле плотности (например, NeRF), превосходно справляются с восстановлением мелких геометрических деталей. Однако поля плотности часто представляют геометрию в "размытом" виде, что затрудняет точное определение местоположения поверхности. В данной работе мы модифицируем поля плотности, чтобы стимулировать их сходимость к поверхностям, не жертвуя при этом способностью восстанавливать тонкие структуры. Во-первых, мы используем дискретное представление сетки непрозрачности вместо непрерывного поля плотности, что позволяет значениям непрозрачности скачкообразно изменяться от нуля до единицы на поверхности. Во-вторых, мы применяем антиалиасинг, отправляя несколько лучей на пиксель, что позволяет моделировать границы окклюзии и субпиксельные структуры без использования полупрозрачных вокселей. В-третьих, мы минимизируем бинарную энтропию значений непрозрачности, что облегчает извлечение геометрии поверхности, стимулируя бинаризацию значений непрозрачности к концу обучения. Наконец, мы разрабатываем стратегию создания сетки на основе слияния, за которой следует упрощение сетки и подгонка модели внешнего вида. Компактные сетки, созданные нашей моделью, могут быть визуализированы в реальном времени на мобильных устройствах и обеспечивают значительно более высокое качество синтеза видов по сравнению с существующими подходами на основе сеток.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.