HybridNeRF: Эффективный нейронный рендеринг с использованием адаптивных объемных поверхностей

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Авторы: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Аннотация

Нейронные поля излучения обеспечивают передовое качество синтеза изображений, но их рендеринг, как правило, занимает много времени. Одна из причин заключается в том, что они используют объемный рендеринг, что требует множества выборок (и запросов к модели) для каждого луча во время рендеринга. Хотя такое представление является гибким и легко оптимизируемым, большинство реальных объектов можно эффективнее моделировать с помощью поверхностей, а не объемов, что требует значительно меньшего количества выборок на луч. Это наблюдение стимулировало значительный прогресс в представлениях на основе поверхностей, таких как функции знаковых расстояний, однако такие методы могут испытывать трудности при моделировании полупрозрачных и тонких структур. Мы предлагаем метод HybridNeRF, который объединяет преимущества обоих подходов, рендеря большинство объектов как поверхности, в то время как сложные области (обычно небольшие) моделируются объемно. Мы оцениваем HybridNeRF на сложном наборе данных Eyeful Tower, а также на других часто используемых наборах для синтеза изображений. По сравнению с передовыми базовыми методами, включая недавние подходы на основе растеризации, мы снижаем уровень ошибок на 15-30%, достигая при этом реальной частоты кадров (не менее 36 FPS) для разрешений, используемых в виртуальной реальности (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).