Neuralangelo: Высококачественная нейронная реконструкция поверхностей
Neuralangelo: High-Fidelity Neural Surface Reconstruction
June 5, 2023
Авторы: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin
cs.AI
Аннотация
Нейронная реконструкция поверхностей доказала свою эффективность для восстановления плотных 3D-поверхностей с помощью нейронного рендеринга на основе изображений. Однако современные методы сталкиваются с трудностями при восстановлении детализированных структур реальных сцен. Для решения этой проблемы мы представляем Neuralangelo, который сочетает в себе мощь представления многоразрешающих 3D-хэш-сеток с нейронным рендерингом поверхностей. Два ключевых компонента делают наш подход возможным: (1) численные градиенты для вычисления производных высшего порядка в качестве операции сглаживания и (2) оптимизация от грубого к детальному на хэш-сетках, управляющих различными уровнями детализации. Даже без вспомогательных данных, таких как глубина, Neuralangelo эффективно восстанавливает плотные 3D-структуры поверхностей из многовидовых изображений с точностью, значительно превосходящей предыдущие методы, что позволяет детализированно реконструировать крупномасштабные сцены на основе RGB-видеозаписей.
English
Neural surface reconstruction has been shown to be powerful for recovering
dense 3D surfaces via image-based neural rendering. However, current methods
struggle to recover detailed structures of real-world scenes. To address the
issue, we present Neuralangelo, which combines the representation power of
multi-resolution 3D hash grids with neural surface rendering. Two key
ingredients enable our approach: (1) numerical gradients for computing
higher-order derivatives as a smoothing operation and (2) coarse-to-fine
optimization on the hash grids controlling different levels of details. Even
without auxiliary inputs such as depth, Neuralangelo can effectively recover
dense 3D surface structures from multi-view images with fidelity significantly
surpassing previous methods, enabling detailed large-scale scene reconstruction
from RGB video captures.