Analogia NeRF: Trasferimento di Attributi Visivi Basato su Esempi per NeRF
NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs
February 13, 2024
Autori: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel
cs.AI
Abstract
Un Neural Radiance Field (NeRF) codifica la relazione specifica tra la geometria 3D e l'aspetto di una scena. In questo lavoro ci chiediamo se sia possibile trasferire l'aspetto da un NeRF sorgente a una geometria 3D target in modo semanticamente significativo, in modo che il nuovo NeRF risultante mantenga la geometria target ma abbia un aspetto che rappresenti un'analogia rispetto al NeRF sorgente. A tal fine, generalizziamo le analogie classiche delle immagini 2D ai NeRF. Sfruttiamo il trasferimento di corrispondenze basato sull'affinità semantica, guidato da caratteristiche semantiche provenienti da modelli pre-addestrati su immagini 2D su larga scala, per ottenere un trasferimento dell'aspetto coerente su più viste. Il nostro metodo consente di esplorare lo spazio prodotto del mix-and-match tra geometria 3D e aspetto. Dimostriamo che il nostro metodo supera i tradizionali approcci basati sulla stilizzazione e che la maggior parte degli utenti preferisce il nostro metodo rispetto a diverse baseline tipiche.
English
A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry
and appearance of a scene. We here ask the question whether we can transfer the
appearance from a source NeRF onto a target 3D geometry in a semantically
meaningful way, such that the resulting new NeRF retains the target geometry
but has an appearance that is an analogy to the source NeRF. To this end, we
generalize classic image analogies from 2D images to NeRFs. We leverage
correspondence transfer along semantic affinity that is driven by semantic
features from large, pre-trained 2D image models to achieve multi-view
consistent appearance transfer. Our method allows exploring the mix-and-match
product space of 3D geometry and appearance. We show that our method
outperforms traditional stylization-based methods and that a large majority of
users prefer our method over several typical baselines.