Analogias NeRF: Transferência de Atributos Visuais Baseada em Exemplos para NeRFs

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

Autores: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

Resumo

Um Neural Radiance Field (NeRF) codifica a relação específica entre a geometria 3D e a aparência de uma cena. Aqui, questionamos se é possível transferir a aparência de um NeRF de origem para uma geometria 3D de destino de forma semanticamente significativa, de modo que o novo NeRF resultante mantenha a geometria do destino, mas tenha uma aparência que seja uma analogia ao NeRF de origem. Para isso, generalizamos as analogias clássicas de imagens 2D para NeRFs. Aproveitamos a transferência de correspondência ao longo da afinidade semântica, impulsionada por características semânticas de modelos de imagem 2D pré-treinados em larga escala, para alcançar uma transferência de aparência consistente em múltiplas visualizações. Nosso método permite explorar o espaço de produtos de combinação de geometria 3D e aparência. Demonstramos que nosso método supera os métodos tradicionais baseados em estilização e que a grande maioria dos usuários prefere nosso método em relação a várias linhas de base típicas.

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.