Seal-3D：ニューラルラジアンスフィールドのためのインタラクティブなピクセルレベル編集

要旨

暗黙的なニューラル表現、特にニューラルラジアンスフィールド（NeRF）の普及に伴い、再構築されたシーンの後処理や3Dコンテンツ作成などのタスクにおいて、暗黙的な3Dモデルを操作するための編集手法が急務となっています。これまでの研究では、NeRFの編集をさまざまな視点から探求してきましたが、編集の柔軟性、品質、速度に制約があり、直接的な編集応答や即時プレビューを提供することができませんでした。重要な課題は、編集指示を直接反映し、即座に更新できる局所的に編集可能なニューラル表現を考案することです。このギャップを埋めるため、我々はSeal-3Dと呼ばれる新しいインタラクティブ編集手法とシステムを提案します。Seal-3Dは、ユーザーがNeRFモデルをピクセルレベルで自由に編集し、幅広いNeRF類似のバックボーンを使用して編集効果を即座にプレビューすることを可能にします。この効果を実現するために、編集指示をNeRFモデルの元の空間にマッピングするプロキシ関数と、局所的な事前学習とグローバルな微調整を組み合わせた教師-生徒トレーニング戦略を提案しました。NeRF編集システムを構築し、さまざまな編集タイプを展示しています。我々のシステムは、約1秒のインタラクティブ速度で説得力のある編集効果を達成できます。

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.

Seal-3D：ニューラルラジアンスフィールドのためのインタラクティブなピクセルレベル編集

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

要旨

Support