Neuralangelo: Hoogwaardige Neurale Oppervlakte-reconstructie
Neuralangelo: High-Fidelity Neural Surface Reconstruction
June 5, 2023
Auteurs: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin
cs.AI
Samenvatting
Neurale oppervlakte-reconstructie is krachtig gebleken voor het herstellen van dichte 3D-oppervlakken via beeldgebaseerd neuraal renderen. Huidige methoden hebben echter moeite met het herstellen van gedetailleerde structuren in real-world scènes. Om dit probleem aan te pakken, presenteren we Neuralangelo, dat de representatiekracht van multi-resolutie 3D-hashgrids combineert met neuraal oppervlakte-renderen. Twee belangrijke componenten maken onze aanpak mogelijk: (1) numerieke gradienten voor het berekenen van hogere-orde afgeleiden als een gladmakende operatie en (2) coarse-to-fine optimalisatie op de hashgrids die verschillende niveaus van detail beheersen. Zelfs zonder aanvullende invoer zoals diepte, kan Neuralangelo effectief dichte 3D-oppervlaktestructuren herstellen uit multi-view beelden met een nauwkeurigheid die eerdere methoden significant overtreft, waardoor gedetailleerde grootschalige scène-reconstructie mogelijk wordt vanuit RGB-video-opnames.
English
Neural surface reconstruction has been shown to be powerful for recovering
dense 3D surfaces via image-based neural rendering. However, current methods
struggle to recover detailed structures of real-world scenes. To address the
issue, we present Neuralangelo, which combines the representation power of
multi-resolution 3D hash grids with neural surface rendering. Two key
ingredients enable our approach: (1) numerical gradients for computing
higher-order derivatives as a smoothing operation and (2) coarse-to-fine
optimization on the hash grids controlling different levels of details. Even
without auxiliary inputs such as depth, Neuralangelo can effectively recover
dense 3D surface structures from multi-view images with fidelity significantly
surpassing previous methods, enabling detailed large-scale scene reconstruction
from RGB video captures.