Analogías NeRF: Transferencia de Atributos Visuales Basada en Ejemplos para NeRFs
NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs
February 13, 2024
Autores: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel
cs.AI
Resumen
Un Campo de Radiancia Neural (NeRF) codifica la relación específica entre la geometría 3D y la apariencia de una escena. Aquí nos planteamos la pregunta de si podemos transferir la apariencia de un NeRF fuente a una geometría 3D objetivo de manera semánticamente significativa, de modo que el nuevo NeRF resultante conserve la geometría objetivo pero tenga una apariencia que sea una analogía del NeRF fuente. Para ello, generalizamos las analogías clásicas de imágenes 2D a NeRFs. Aprovechamos la transferencia de correspondencias basada en afinidad semántica, impulsada por características semánticas de modelos de imágenes 2D preentrenados a gran escala, para lograr una transferencia de apariencia consistente en múltiples vistas. Nuestro método permite explorar el espacio de combinación de geometría 3D y apariencia. Demostramos que nuestro método supera a los métodos tradicionales basados en estilización y que una gran mayoría de los usuarios prefieren nuestro método frente a varias líneas base típicas.
English
A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry
and appearance of a scene. We here ask the question whether we can transfer the
appearance from a source NeRF onto a target 3D geometry in a semantically
meaningful way, such that the resulting new NeRF retains the target geometry
but has an appearance that is an analogy to the source NeRF. To this end, we
generalize classic image analogies from 2D images to NeRFs. We leverage
correspondence transfer along semantic affinity that is driven by semantic
features from large, pre-trained 2D image models to achieve multi-view
consistent appearance transfer. Our method allows exploring the mix-and-match
product space of 3D geometry and appearance. We show that our method
outperforms traditional stylization-based methods and that a large majority of
users prefer our method over several typical baselines.