ExtraNeRF: 拡散モデルを用いたニューラルラジアンスフィールドの可視性を考慮した視点外挿

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

June 10, 2024

著者: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen

cs.AI

要旨

本論文では、Neural Radiance Field (NeRF) が扱える視点範囲を外挿するための新規手法であるExtraNeRFを提案する。我々の主なアイデアは、NeRFを活用してシーン固有の微細な詳細をモデル化しつつ、拡散モデルを利用して観測データを超えた外挿を行うことである。重要な要素として、可視性を追跡し、シーンのどの部分が未観測であるかを特定し、拡散モデルを用いてそれらの領域を一貫して再構築することに焦点を当てる。我々の主な貢献は、入力画像に微調整された可視性を考慮した拡散ベースのインペインティングモジュールを含み、これにより中程度の品質（しばしばぼやけた）インペインティング領域を持つ初期NeRFが生成される。その後、入力画像に基づいて訓練された第二の拡散モデルを用いて、第一段階のインペインティング画像を一貫して強化し、特に鮮明化する。我々は、少数の（通常6つ以下の）入力視点を超えた高品質な外挿結果を示し、NeRFのアウトペインティングだけでなく、元の視野範囲内で新たにディスオクルージョンされた領域のインペインティングにも効果的に対応する。関連研究との定量的・定性的な比較を行い、従来の手法を大幅に上回る成果を示す。

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.