Адаптивные оболочки для эффективного рендеринга нейронных полей излучения
Adaptive Shells for Efficient Neural Radiance Field Rendering
November 16, 2023
Авторы: Zian Wang, Tianchang Shen, Merlin Nimier-David, Nicholas Sharp, Jun Gao, Alexander Keller, Sanja Fidler, Thomas Müller, Zan Gojcic
cs.AI
Аннотация
Нейронные поля излучения достигают беспрецедентного качества в синтезе новых видов, но их объемная формулировка остается дорогостоящей, требуя огромного количества выборок для рендеринга изображений с высоким разрешением. Объемные кодирования необходимы для представления размытой геометрии, такой как листва и волосы, и они хорошо подходят для стохастической оптимизации. Тем не менее, многие сцены в конечном итоге состоят в основном из твердых поверхностей, которые могут быть точно отрендерены с использованием одной выборки на пиксель. Основываясь на этом наблюдении, мы предлагаем формулировку нейронного излучения, которая плавно переходит между объемным и поверхностным рендерингом, значительно ускоряя скорость рендеринга и даже улучшая визуальную точность. Наш метод строит явную оболочку в виде сетки, которая пространственно ограничивает нейронное объемное представление. В твердых областях оболочка почти сходится к поверхности и часто может быть отрендерена с одной выборкой. Для этого мы обобщаем формулировку NeuS с помощью изученного пространственно-изменяемого размера ядра, который кодирует распределение плотности, подгоняя широкое ядро к объемным областям и узкое ядро к поверхностным областям. Затем мы извлекаем явную сетку узкой полосы вокруг поверхности, ширина которой определяется размером ядра, и тонко настраиваем поле излучения в пределах этой полосы. Во время вывода мы направляем лучи на сетку и оцениваем поле излучения только в пределах ограниченной области, значительно сокращая количество требуемых выборок. Эксперименты показывают, что наш подход позволяет эффективно рендерить с очень высокой точностью. Мы также демонстрируем, что извлеченная оболочка позволяет использовать приложения, такие как анимация и симуляция.
English
Neural radiance fields achieve unprecedented quality for novel view
synthesis, but their volumetric formulation remains expensive, requiring a huge
number of samples to render high-resolution images. Volumetric encodings are
essential to represent fuzzy geometry such as foliage and hair, and they are
well-suited for stochastic optimization. Yet, many scenes ultimately consist
largely of solid surfaces which can be accurately rendered by a single sample
per pixel. Based on this insight, we propose a neural radiance formulation that
smoothly transitions between volumetric- and surface-based rendering, greatly
accelerating rendering speed and even improving visual fidelity. Our method
constructs an explicit mesh envelope which spatially bounds a neural volumetric
representation. In solid regions, the envelope nearly converges to a surface
and can often be rendered with a single sample. To this end, we generalize the
NeuS formulation with a learned spatially-varying kernel size which encodes the
spread of the density, fitting a wide kernel to volume-like regions and a tight
kernel to surface-like regions. We then extract an explicit mesh of a narrow
band around the surface, with width determined by the kernel size, and
fine-tune the radiance field within this band. At inference time, we cast rays
against the mesh and evaluate the radiance field only within the enclosed
region, greatly reducing the number of samples required. Experiments show that
our approach enables efficient rendering at very high fidelity. We also
demonstrate that the extracted envelope enables downstream applications such as
animation and simulation.