NeRFアナロジー：NeRFのための事例ベース視覚属性転移

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

著者: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）は、シーンの3Dジオメトリと外観の特定の関係を符号化します。本研究では、ソースNeRFの外観をターゲット3Dジオメトリに意味的に有意義な方法で転移させ、結果として得られる新しいNeRFがターゲットジオメトリを保持しつつ、ソースNeRFとの類推となる外観を持つことができるかどうかという問いを立てます。この目的のために、我々は古典的な画像類推を2D画像からNeRFへと一般化します。大規模な事前学習済み2D画像モデルから得られるセマンティック特徴に基づくセマンティックアフィニティに沿った対応関係転移を活用し、マルチビュー一貫性のある外観転移を実現します。本手法により、3Dジオメトリと外観の組み合わせ空間を探索することが可能となります。我々の手法は従来のスタイル化ベースの手法を上回り、大多数のユーザーがいくつかの典型的なベースラインよりも本手法を好むことを示します。

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.