Analogies NeRF : Transfert d'attributs visuels basé sur des exemples pour les NeRF

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

Auteurs: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

Résumé

Un champ de radiance neuronale (NeRF) encode la relation spécifique entre la géométrie 3D et l'apparence d'une scène. Nous nous posons ici la question de savoir si nous pouvons transférer l'apparence d'un NeRF source sur une géométrie 3D cible de manière sémantiquement significative, de sorte que le nouveau NeRF résultant conserve la géométrie cible mais possède une apparence analogue à celle du NeRF source. Pour ce faire, nous généralisons les analogies d'images classiques des images 2D aux NeRFs. Nous exploitons le transfert de correspondance basé sur l'affinité sémantique, guidé par des caractéristiques sémantiques issues de modèles d'images 2D pré-entraînés à grande échelle, pour réaliser un transfert d'apparence cohérent en multi-vues. Notre méthode permet d'explorer l'espace produit de combinaisons entre géométrie 3D et apparence. Nous démontrons que notre méthode surpasse les approches traditionnelles basées sur la stylisation et qu'une grande majorité d'utilisateurs la préfèrent à plusieurs méthodes de référence typiques.

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.