Neuralangelo: 高忠実度ニューラル表面再構築

要旨

ニューラルサーフェス再構成は、画像ベースのニューラルレンダリングを通じて高密度な3Dサーフェスを復元する強力な手法として示されてきました。しかし、現在の手法では、実世界のシーンの詳細な構造を復元することが困難です。この問題に対処するため、我々はNeuralangeloを提案します。これは、マルチ解像度3Dハッシュグリッドの表現力とニューラルサーフェスレンダリングを組み合わせたものです。我々のアプローチを可能にする2つの重要な要素は、(1) 高次導関数を計算するための数値勾配を平滑化操作として用いること、(2) 異なる詳細レベルを制御するハッシュグリッドに対する粗から細への最適化です。深度などの補助入力を必要とせずとも、Neuralangeloはマルチビュー画像から高密度な3Dサーフェス構造を効果的に復元し、その忠実度は従来の手法を大幅に上回り、RGBビデオキャプチャからの詳細な大規模シーン再構成を可能にします。

English

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.

Neuralangelo: 高忠実度ニューラル表面再構築

Neuralangelo: High-Fidelity Neural Surface Reconstruction

要旨

Support