Neuralangelo: Reconstrução Neural de Superfícies de Alta Fidelidade

Neuralangelo: High-Fidelity Neural Surface Reconstruction

June 5, 2023

Autores: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin

cs.AI

Resumo

A reconstrução neural de superfícies tem se mostrado poderosa para recuperar superfícies 3D densas por meio de renderização neural baseada em imagens. No entanto, os métodos atuais enfrentam dificuldades para recuperar estruturas detalhadas de cenas do mundo real. Para resolver esse problema, apresentamos o Neuralangelo, que combina o poder de representação de grades de hash 3D de múltiplas resoluções com a renderização neural de superfícies. Dois elementos-chave possibilitam nossa abordagem: (1) gradientes numéricos para calcular derivadas de ordem superior como uma operação de suavização e (2) otimização de grosseiro para refinado nas grades de hash, controlando diferentes níveis de detalhes. Mesmo sem entradas auxiliares, como profundidade, o Neuralangelo pode recuperar efetivamente estruturas de superfície 3D densas a partir de imagens de múltiplas vistas com fidelidade que supera significativamente os métodos anteriores, permitindo a reconstrução detalhada de cenas em grande escala a partir de capturas de vídeo RGB.

English

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.