Neuralangelo : Reconstruction de surfaces neuronales haute fidélité

Neuralangelo: High-Fidelity Neural Surface Reconstruction

June 5, 2023

Auteurs: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin

cs.AI

Résumé

La reconstruction de surfaces neuronales s'est avérée puissante pour récupérer des surfaces 3D denses via le rendu neuronal basé sur des images. Cependant, les méthodes actuelles peinent à restituer les structures détaillées des scènes du monde réel. Pour résoudre ce problème, nous présentons Neuralangelo, qui combine la puissance de représentation des grilles 3D multi-résolution avec le rendu neuronal de surfaces. Deux éléments clés permettent notre approche : (1) les gradients numériques pour calculer des dérivées d'ordre supérieur en tant qu'opération de lissage et (2) une optimisation allant du grossier au fin sur les grilles de hachage contrôlant différents niveaux de détails. Même sans entrées auxiliaires telles que la profondeur, Neuralangelo peut efficacement récupérer des structures de surfaces 3D denses à partir d'images multi-vues avec une fidélité surpassant significativement les méthodes précédentes, permettant une reconstruction détaillée de scènes à grande échelle à partir de captures vidéo RGB.

English

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.