潜在拡散モデルをニューラルラジアンスフィールドインペインティングに適応させる

Taming Latent Diffusion Model for Neural Radiance Field Inpainting

April 15, 2024

著者: Chieh Hubert Lin, Changil Kim, Jia-Bin Huang, Qinbo Li, Chih-Yao Ma, Johannes Kopf, Ming-Hsuan Yang, Hung-Yu Tseng

cs.AI

要旨

Neural Radiance Field (NeRF) は、多視点画像からの3D再構成のための表現手法です。最近の研究では、拡散モデルを事前分布として用いて再構成されたNeRFを編集することに一定の成功を収めていますが、完全に未観測の領域において合理的な形状を合成することには依然として苦戦しています。その主な理由の一つは、拡散モデルから生成される内容の多様性が高すぎるため、放射場が鮮明で決定論的な形状に収束するのを妨げていることです。さらに、実データに対して潜在拡散モデルを適用すると、オートエンコーディングの誤差により、画像条件と整合性のないテクスチャのシフトが生じることがよくあります。これらの問題は、ピクセル距離損失を使用することでさらに悪化します。これらの課題に対処するため、我々はシーンごとのカスタマイズによって拡散モデルの確率性を調整し、マスク付き敵対的学習によってテクスチャのシフトを軽減することを提案します。分析の過程で、NeRFのインペインティングタスクにおいて一般的に使用されるピクセル損失や知覚損失が有害であることも明らかになりました。厳密な実験を通じて、我々のフレームワークは様々な実世界のシーンにおいて最先端のNeRFインペインティング結果を達成しました。プロジェクトページ: https://hubert0527.github.io/MALD-NeRF

English

Neural Radiance Field (NeRF) is a representation for 3D reconstruction from multi-view images. Despite some recent work showing preliminary success in editing a reconstructed NeRF with diffusion prior, they remain struggling to synthesize reasonable geometry in completely uncovered regions. One major reason is the high diversity of synthetic contents from the diffusion model, which hinders the radiance field from converging to a crisp and deterministic geometry. Moreover, applying latent diffusion models on real data often yields a textural shift incoherent to the image condition due to auto-encoding errors. These two problems are further reinforced with the use of pixel-distance losses. To address these issues, we propose tempering the diffusion model's stochasticity with per-scene customization and mitigating the textural shift with masked adversarial training. During the analyses, we also found the commonly used pixel and perceptual losses are harmful in the NeRF inpainting task. Through rigorous experiments, our framework yields state-of-the-art NeRF inpainting results on various real-world scenes. Project page: https://hubert0527.github.io/MALD-NeRF