Стиль-NeRF2NeRF: 3D Перенос Стиля из Многоплановых Изображений с Выравниванием Стиля

Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images

June 19, 2024

Авторы: Haruo Fujiwara, Yusuke Mukuta, Tatsuya Harada

cs.AI

Аннотация

Мы предлагаем простую, но эффективную конвейерную систему для стилизации трехмерной сцены, использующую мощь моделей диффузии изображений в двух измерениях. Учитывая модель NeRF, восстановленную из набора мульти-видовых изображений, мы осуществляем перенос стиля в трех измерениях путем улучшения исходной модели NeRF с использованием стилизованных изображений, сгенерированных моделью диффузии изображений, согласованной со стилем. Учитывая целевой стильный запрос, мы сначала генерируем перцептивно похожие мульти-видовые изображения, используя модель диффузии, зависящую от глубины, с механизмом совместного внимания. Затем, основываясь на стилизованных мульти-видовых изображениях, мы предлагаем направлять процесс переноса стиля с помощью потерь, основанных на разрезанной вассерштейновской метрике, на основе карт признаков, извлеченных из предварительно обученной модели CNN. Наша конвейерная система состоит из отдельных этапов, позволяя пользователям тестировать различные идеи запросов и предварительно просматривать стилизованный результат в трех измерениях перед переходом к этапу доводки модели NeRF. Мы демонстрируем, что наш метод способен передавать разнообразные художественные стили в трехмерные сцены реального мира с конкурентоспособным качеством.

English

We propose a simple yet effective pipeline for stylizing a 3D scene, harnessing the power of 2D image diffusion models. Given a NeRF model reconstructed from a set of multi-view images, we perform 3D style transfer by refining the source NeRF model using stylized images generated by a style-aligned image-to-image diffusion model. Given a target style prompt, we first generate perceptually similar multi-view images by leveraging a depth-conditioned diffusion model with an attention-sharing mechanism. Next, based on the stylized multi-view images, we propose to guide the style transfer process with the sliced Wasserstein loss based on the feature maps extracted from a pre-trained CNN model. Our pipeline consists of decoupled steps, allowing users to test various prompt ideas and preview the stylized 3D result before proceeding to the NeRF fine-tuning stage. We demonstrate that our method can transfer diverse artistic styles to real-world 3D scenes with competitive quality.