Neuralangelo: Hochauflösende neuronale Oberflächenrekonstruktion
Neuralangelo: High-Fidelity Neural Surface Reconstruction
June 5, 2023
Autoren: Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin
cs.AI
Zusammenfassung
Die neuronale Oberflächenrekonstruktion hat sich als leistungsstark erwiesen, um dichte 3D-Oberflächen durch bildbasierte neuronale Rendering-Verfahren wiederherzustellen. Aktuelle Methoden haben jedoch Schwierigkeiten, detaillierte Strukturen realer Szenen zu erfassen. Um dieses Problem zu lösen, präsentieren wir Neuralangelo, das die Darstellungsfähigkeit von mehrstufigen 3D-Hash-Grids mit dem neuronalen Oberflächenrendering kombiniert. Zwei Schlüsselelemente ermöglichen unseren Ansatz: (1) numerische Gradienten zur Berechnung höherer Ableitungen als Glättungsoperation und (2) eine grob- bis feinabgestufte Optimierung der Hash-Grids, die unterschiedliche Detailstufen steuern. Selbst ohne zusätzliche Eingaben wie Tiefeninformationen kann Neuralangelo effektiv dichte 3D-Oberflächenstrukturen aus Multi-View-Bildern mit einer Detailtreue rekonstruieren, die bisherige Methoden deutlich übertrifft, und ermöglicht so die detaillierte Rekonstruktion großflächiger Szenen aus RGB-Videoaufnahmen.
English
Neural surface reconstruction has been shown to be powerful for recovering
dense 3D surfaces via image-based neural rendering. However, current methods
struggle to recover detailed structures of real-world scenes. To address the
issue, we present Neuralangelo, which combines the representation power of
multi-resolution 3D hash grids with neural surface rendering. Two key
ingredients enable our approach: (1) numerical gradients for computing
higher-order derivatives as a smoothing operation and (2) coarse-to-fine
optimization on the hash grids controlling different levels of details. Even
without auxiliary inputs such as depth, Neuralangelo can effectively recover
dense 3D surface structures from multi-view images with fidelity significantly
surpassing previous methods, enabling detailed large-scale scene reconstruction
from RGB video captures.