SIGNeRF：ニューラルラジアンスフィールドのためのシーン統合生成

要旨

画像拡散モデルの進歩により、最近では高品質な画像生成が大幅に改善されました。Neural Radiance Fields（NeRF）と組み合わせることで、3D生成において新たな可能性が開かれました。しかし、ほとんどの生成的な3Dアプローチはオブジェクト中心であり、既存のフォトリアルなシーンを編集するには容易ではありません。本論文では、高速で制御可能なNeRFシーン編集とシーン統合型オブジェクト生成のための新しいアプローチであるSIGNeRFを提案します。新しい生成更新戦略により、反復的な最適化を必要とせずに、編集された画像間で3D一貫性が保証されます。深度条件付き拡散モデルは、単一ビューではなく画像グリッドを要求することで、本質的に3D一貫性のあるビューを生成する能力を持っていることがわかりました。これらの知見に基づき、修正画像のマルチビュー参照シートを導入します。本手法は、参照シートに基づいて画像コレクションを一貫して更新し、新しく生成された画像セットで元のNeRFを一括で洗練します。画像拡散モデルの深度条件付けメカニズムを活用することで、編集の空間的位置を細かく制御し、選択された領域または外部メッシュによる形状ガイダンスを適用します。

English

Advances in image diffusion models have recently led to notable improvements in the generation of high-quality images. In combination with Neural Radiance Fields (NeRFs), they enabled new opportunities in 3D generation. However, most generative 3D approaches are object-centric and applying them to editing existing photorealistic scenes is not trivial. We propose SIGNeRF, a novel approach for fast and controllable NeRF scene editing and scene-integrated object generation. A new generative update strategy ensures 3D consistency across the edited images, without requiring iterative optimization. We find that depth-conditioned diffusion models inherently possess the capability to generate 3D consistent views by requesting a grid of images instead of single views. Based on these insights, we introduce a multi-view reference sheet of modified images. Our method updates an image collection consistently based on the reference sheet and refines the original NeRF with the newly generated image set in one go. By exploiting the depth conditioning mechanism of the image diffusion model, we gain fine control over the spatial location of the edit and enforce shape guidance by a selected region or an external mesh.

SIGNeRF：ニューラルラジアンスフィールドのためのシーン統合生成

SIGNeRF: Scene Integrated Generation for Neural Radiance Fields

要旨

Support