Neuralangelo: 고해상도 신경 표면 재구성

초록

신경망 기반 표면 재구성은 이미지 기반 신경 렌더링을 통해 조밀한 3D 표면을 복원하는 데 강력한 성능을 보여왔습니다. 그러나 현재의 방법들은 실제 장면의 세부 구조를 복원하는 데 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해, 우리는 다중 해상도 3D 해시 그리드의 표현력을 신경 표면 렌더링과 결합한 Neuralangelo를 제안합니다. 우리의 접근 방식은 두 가지 핵심 요소에 의해 가능해졌습니다: (1) 고차 도함수를 계산하기 위한 수치적 기울기를 평활화 작업으로 사용하는 것과 (2) 다양한 수준의 세부 사항을 제어하는 해시 그리드에 대한 거친 단계에서 세밀한 단계로의 최적화입니다. 깊이 정보와 같은 보조 입력 없이도, Neuralangelo는 다중 시점 이미지로부터 조밀한 3D 표면 구조를 효과적으로 복원할 수 있으며, 이전 방법들을 크게 능가하는 충실도로 RGB 비디오 캡처로부터 대규모 장면의 세부 재구성을 가능하게 합니다.

English

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.

Neuralangelo: 고해상도 신경 표면 재구성

Neuralangelo: High-Fidelity Neural Surface Reconstruction

초록

Support