Stil-NeRF2NeRF: 3D Stiltransfer von stilangepassten Multi-View-Bildern

Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images

June 19, 2024

Autoren: Haruo Fujiwara, Yusuke Mukuta, Tatsuya Harada

cs.AI

Zusammenfassung

Wir schlagen eine einfache, aber effektive Pipeline zur Stilisierung einer 3D-Szene vor, die die Leistungsfähigkeit von 2D-Bilddiffusionsmodellen nutzt. Ausgehend von einem NeRF-Modell, das aus einer Reihe von Multi-View-Bildern rekonstruiert wurde, führen wir eine 3D-Stilübertragung durch, indem wir das Quell-NeRF-Modell mithilfe von stilisierten Bildern verfeinern, die von einem stilangepassten Bild-zu-Bild-Diffusionsmodell generiert wurden. Unter Verwendung eines Ziel-Stil-Prompts generieren wir zunächst wahrnehmungsgleichartige Multi-View-Bilder, indem wir ein tiefenbedingtes Diffusionsmodell mit einem Aufmerksamkeitsteilungsmechanismus nutzen. Anschließend schlagen wir vor, basierend auf den stilisierten Multi-View-Bildern den Stiltransferprozess mit dem geschnittenen Wasserstein-Verlust zu leiten, der auf den Merkmalskarten basiert, die aus einem vorab trainierten CNN-Modell extrahiert wurden. Unsere Pipeline besteht aus entkoppelten Schritten, die es den Benutzern ermöglichen, verschiedene Ideen für Prompts zu testen und das stilisierte 3D-Ergebnis vor dem Fortfahren zum NeRF-Feinabstimmungsstadium zu überprüfen. Wir zeigen, dass unsere Methode verschiedene künstlerische Stile mit konkurrenzfähiger Qualität auf realen 3D-Szenen übertragen kann.

English

We propose a simple yet effective pipeline for stylizing a 3D scene, harnessing the power of 2D image diffusion models. Given a NeRF model reconstructed from a set of multi-view images, we perform 3D style transfer by refining the source NeRF model using stylized images generated by a style-aligned image-to-image diffusion model. Given a target style prompt, we first generate perceptually similar multi-view images by leveraging a depth-conditioned diffusion model with an attention-sharing mechanism. Next, based on the stylized multi-view images, we propose to guide the style transfer process with the sliced Wasserstein loss based on the feature maps extracted from a pre-trained CNN model. Our pipeline consists of decoupled steps, allowing users to test various prompt ideas and preview the stylized 3D result before proceeding to the NeRF fine-tuning stage. We demonstrate that our method can transfer diverse artistic styles to real-world 3D scenes with competitive quality.