NeRF-Analogien: Beispielbasierte Übertragung visueller Attribute für NeRFs
NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs
February 13, 2024
papers.authors: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel
cs.AI
papers.abstract
Ein Neural Radiance Field (NeRF) kodiert die spezifische Beziehung zwischen der 3D-Geometrie und dem Erscheinungsbild einer Szene. Wir stellen hier die Frage, ob wir das Erscheinungsbild von einem Quell-NeRF auf eine Ziel-3D-Geometrie in einer semantisch sinnvollen Weise übertragen können, sodass das resultierende neue NeRF die Zielgeometrie beibehält, aber ein Erscheinungsbild aufweist, das eine Analogie zum Quell-NeRF darstellt. Zu diesem Zweck verallgemeinern wir klassische Bildanalogien von 2D-Bildern auf NeRFs. Wir nutzen die Übertragung von Korrespondenzen entlang semantischer Affinität, die durch semantische Merkmale aus großen, vortrainierten 2D-Bildmodellen angetrieben wird, um eine multi-view-konsistente Übertragung des Erscheinungsbilds zu erreichen. Unsere Methode ermöglicht die Erkundung des Mix-and-Match-Produktraums von 3D-Geometrie und Erscheinungsbild. Wir zeigen, dass unsere Methode traditionelle Stilisierungsmethoden übertrifft und dass eine große Mehrheit der Benutzer unsere Methode mehreren typischen Baseline-Ansätzen vorzieht.
English
A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry
and appearance of a scene. We here ask the question whether we can transfer the
appearance from a source NeRF onto a target 3D geometry in a semantically
meaningful way, such that the resulting new NeRF retains the target geometry
but has an appearance that is an analogy to the source NeRF. To this end, we
generalize classic image analogies from 2D images to NeRFs. We leverage
correspondence transfer along semantic affinity that is driven by semantic
features from large, pre-trained 2D image models to achieve multi-view
consistent appearance transfer. Our method allows exploring the mix-and-match
product space of 3D geometry and appearance. We show that our method
outperforms traditional stylization-based methods and that a large majority of
users prefer our method over several typical baselines.