Адаптивные оболочки для эффективного рендеринга нейронных полей излучения

Аннотация

Нейронные поля излучения достигают беспрецедентного качества в синтезе новых видов, но их объемная формулировка остается дорогостоящей, требуя огромного количества выборок для рендеринга изображений с высоким разрешением. Объемные кодирования необходимы для представления размытой геометрии, такой как листва и волосы, и они хорошо подходят для стохастической оптимизации. Тем не менее, многие сцены в конечном итоге состоят в основном из твердых поверхностей, которые могут быть точно отрендерены с использованием одной выборки на пиксель. Основываясь на этом наблюдении, мы предлагаем формулировку нейронного излучения, которая плавно переходит между объемным и поверхностным рендерингом, значительно ускоряя скорость рендеринга и даже улучшая визуальную точность. Наш метод строит явную оболочку в виде сетки, которая пространственно ограничивает нейронное объемное представление. В твердых областях оболочка почти сходится к поверхности и часто может быть отрендерена с одной выборкой. Для этого мы обобщаем формулировку NeuS с помощью изученного пространственно-изменяемого размера ядра, который кодирует распределение плотности, подгоняя широкое ядро к объемным областям и узкое ядро к поверхностным областям. Затем мы извлекаем явную сетку узкой полосы вокруг поверхности, ширина которой определяется размером ядра, и тонко настраиваем поле излучения в пределах этой полосы. Во время вывода мы направляем лучи на сетку и оцениваем поле излучения только в пределах ограниченной области, значительно сокращая количество требуемых выборок. Эксперименты показывают, что наш подход позволяет эффективно рендерить с очень высокой точностью. Мы также демонстрируем, что извлеченная оболочка позволяет использовать приложения, такие как анимация и симуляция.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

Адаптивные оболочки для эффективного рендеринга нейронных полей излучения

Adaptive Shells for Efficient Neural Radiance Field Rendering

Аннотация

Support