Neuralangelo: Reconstrucción Neural de Superficies de Alta Fidelidad

Neuralangelo: High-Fidelity Neural Surface Reconstruction

June 5, 2023

Autores: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin

cs.AI

Resumen

La reconstrucción de superficies neuronales ha demostrado ser poderosa para recuperar superficies 3D densas mediante el renderizado neuronal basado en imágenes. Sin embargo, los métodos actuales tienen dificultades para recuperar estructuras detalladas de escenas del mundo real. Para abordar este problema, presentamos Neuralangelo, que combina el poder de representación de las cuadrículas hash 3D de múltiples resoluciones con el renderizado neuronal de superficies. Dos elementos clave permiten nuestro enfoque: (1) gradientes numéricos para calcular derivadas de orden superior como una operación de suavizado y (2) optimización de grueso a fino en las cuadrículas hash que controlan diferentes niveles de detalle. Incluso sin entradas auxiliares como la profundidad, Neuralangelo puede recuperar eficazmente estructuras de superficies 3D densas a partir de imágenes de múltiples vistas con una fidelidad que supera significativamente a los métodos anteriores, permitiendo la reconstrucción detallada de escenas a gran escala a partir de capturas de video RGB.

English

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.