Neuralangelo: Ricostruzione Neural ad Alta Fedeltà di Superfici
Neuralangelo: High-Fidelity Neural Surface Reconstruction
June 5, 2023
Autori: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin
cs.AI
Abstract
La ricostruzione di superfici neurali si è dimostrata potente per il recupero di superfici 3D dense attraverso il rendering neurale basato su immagini. Tuttavia, i metodi attuali faticano a recuperare le strutture dettagliate delle scene del mondo reale. Per affrontare questo problema, presentiamo Neuralangelo, che combina il potere rappresentativo delle griglie 3D multi-risoluzione con il rendering neurale di superfici. Due ingredienti chiave abilitano il nostro approccio: (1) gradienti numerici per il calcolo di derivate di ordine superiore come operazione di smoothing e (2) ottimizzazione da grossolana a fine sulle griglie hash che controllano diversi livelli di dettaglio. Anche senza input ausiliari come la profondità, Neuralangelo può recuperare efficacemente strutture di superficie 3D dense da immagini multi-vista con una fedeltà che supera significativamente i metodi precedenti, consentendo la ricostruzione dettagliata di scene su larga scala da acquisizioni video RGB.
English
Neural surface reconstruction has been shown to be powerful for recovering
dense 3D surfaces via image-based neural rendering. However, current methods
struggle to recover detailed structures of real-world scenes. To address the
issue, we present Neuralangelo, which combines the representation power of
multi-resolution 3D hash grids with neural surface rendering. Two key
ingredients enable our approach: (1) numerical gradients for computing
higher-order derivatives as a smoothing operation and (2) coarse-to-fine
optimization on the hash grids controlling different levels of details. Even
without auxiliary inputs such as depth, Neuralangelo can effectively recover
dense 3D surface structures from multi-view images with fidelity significantly
surpassing previous methods, enabling detailed large-scale scene reconstruction
from RGB video captures.