Аналогии NeRF: Перенос визуальных атрибутов на основе примеров для NeRF

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

Авторы: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

Аннотация

Нейронное поле излучения (NeRF) кодирует специфическую взаимосвязь трехмерной геометрии и внешнего вида сцены. Мы задаемся вопросом, можно ли перенести внешний вид из исходного NeRF на целевую трехмерную геометрию семантически осмысленным образом, чтобы результирующий новый NeRF сохранял целевую геометрию, но имел внешний вид, аналогичный исходному NeRF. Для этого мы обобщаем классические аналогии изображений с двумерных изображений на NeRF. Мы используем перенос соответствий на основе семантического сходства, которое определяется семантическими признаками из крупных предобученных моделей двумерных изображений, для достижения согласованного переноса внешнего вида между несколькими видами. Наш метод позволяет исследовать пространство комбинаций трехмерной геометрии и внешнего вида. Мы показываем, что наш метод превосходит традиционные подходы, основанные на стилизации, и что подавляющее большинство пользователей предпочитают наш метод нескольким типичным базовым подходам.

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.