効率的なニューラルラジアンスフィールドレンダリングのための適応シェル

要旨

ニューラルラジアンスフィールドは新規視点合成において前例のない品質を実現しますが、その体積ベースの定式化は依然としてコストが高く、高解像度画像をレンダリングするために膨大な数のサンプルを必要とします。体積エンコーディングは、葉や髪の毛のようなぼやけた幾何学を表現するために不可欠であり、確率的最適化にも適しています。しかし、多くのシーンは最終的には主に固体表面で構成されており、ピクセルごとに単一のサンプルで正確にレンダリングできます。この洞察に基づいて、我々は体積ベースと表面ベースのレンダリングの間を滑らかに遷移するニューラルラジアンス定式化を提案し、レンダリング速度を大幅に加速し、視覚的な忠実度さえ向上させます。我々の手法は、ニューラル体積表現を空間的に境界付ける明示的なメッシュエンベロープを構築します。固体領域では、エンベロープはほぼ表面に収束し、しばしば単一のサンプルでレンダリングできます。この目的のために、我々はNeuS定式化を一般化し、密度の広がりをエンコードする学習された空間的に変化するカーネルサイズを使用します。体積のような領域には広いカーネルを、表面のような領域には狭いカーネルを適合させます。次に、カーネルサイズによって決定される幅を持つ表面周辺の狭いバンドの明示的なメッシュを抽出し、このバンド内でラジアンスフィールドを微調整します。推論時には、メッシュに対してレイを投射し、囲まれた領域内でのみラジアンスフィールドを評価することで、必要なサンプル数を大幅に削減します。実験結果は、我々のアプローチが非常に高忠実度での効率的なレンダリングを可能にすることを示しています。また、抽出されたエンベロープがアニメーションやシミュレーションなどの下流アプリケーションを可能にすることを実証します。

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

効率的なニューラルラジアンスフィールドレンダリングのための適応シェル

Adaptive Shells for Efficient Neural Radiance Field Rendering

要旨

Support