Personalizza il tuo NeRF: Modifica adattiva di scene 3D guidata dalla sorgente tramite addestramento iterativo locale-globale

Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training

December 4, 2023

Autori: Runze He, Shaofei Huang, Xuecheng Nie, Tianrui Hui, Luoqi Liu, Jiao Dai, Jizhong Han, Guanbin Li, Si Liu

cs.AI

Abstract

In questo articolo, affrontiamo il compito di modifica adattiva di scene 3D guidata dalla sorgente proponendo un modello CustomNeRF che unisce una descrizione testuale o un'immagine di riferimento come prompt di modifica. Tuttavia, ottenere risultati di modifica desiderati conformi al prompt non è banale, poiché esistono due sfide significative: la modifica accurata delle sole regioni in primo piano e la coerenza multi-vista data un'immagine di riferimento a singola vista. Per affrontare la prima sfida, proponiamo uno schema di addestramento chiamato Local-Global Iterative Editing (LGIE) che alterna la modifica delle regioni in primo piano e la modifica dell'intera immagine, mirando a manipolare solo il primo piano preservando lo sfondo. Per la seconda sfida, progettiamo anche una regolarizzazione guidata dalla classe che sfrutta i priori di classe all'interno del modello generativo per alleviare il problema di incoerenza tra le diverse viste nella modifica guidata da immagini. Esperimenti estensivi dimostrano che il nostro CustomNeRF produce risultati di modifica precisi in varie scene reali sia per impostazioni guidate da testo che da immagini.

English

In this paper, we target the adaptive source driven 3D scene editing task by proposing a CustomNeRF model that unifies a text description or a reference image as the editing prompt. However, obtaining desired editing results conformed with the editing prompt is nontrivial since there exist two significant challenges, including accurate editing of only foreground regions and multi-view consistency given a single-view reference image. To tackle the first challenge, we propose a Local-Global Iterative Editing (LGIE) training scheme that alternates between foreground region editing and full-image editing, aimed at foreground-only manipulation while preserving the background. For the second challenge, we also design a class-guided regularization that exploits class priors within the generation model to alleviate the inconsistency problem among different views in image-driven editing. Extensive experiments show that our CustomNeRF produces precise editing results under various real scenes for both text- and image-driven settings.