NeRF Analogieën: Voorbeeldgebaseerde overdracht van visuele attributen voor NeRF's

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

Auteurs: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

Samenvatting

Een Neural Radiance Field (NeRF) codeert de specifieke relatie tussen 3D-geometrie en het uiterlijk van een scène. Wij stellen hier de vraag of we het uiterlijk van een bron-NeRF op een doel-3D-geometrie kunnen overbrengen op een semantisch betekenisvolle manier, zodat de resulterende nieuwe NeRF de doelgeometrie behoudt maar een uiterlijk heeft dat een analogie vormt met de bron-NeRF. Hiertoe generaliseren we klassieke beeldanalogieën van 2D-beelden naar NeRFs. We benutten correspondentieoverdracht langs semantische affiniteit die wordt gestuurd door semantische kenmerken uit grote, vooraf getrainde 2D-beeldmodellen om multi-view consistente uiterlijkoverdracht te bereiken. Onze methode maakt het mogelijk om de mix-and-match productruimte van 3D-geometrie en uiterlijk te verkennen. We tonen aan dat onze methode traditionele op stilisatie gebaseerde methoden overtreft en dat een grote meerderheid van de gebruikers onze methode verkiest boven verschillende typische baseline-methoden.

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.