Pas je NeRF aan: Adaptieve bron-gestuurde 3D-scènebewerking via lokaal-globale iteratieve training

Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training

December 4, 2023

Auteurs: Runze He, Shaofei Huang, Xuecheng Nie, Tianrui Hui, Luoqi Liu, Jiao Dai, Jizhong Han, Guanbin Li, Si Liu

cs.AI

Samenvatting

In dit artikel richten we ons op de adaptieve bron-gestuurde 3D-scènebewerkingstaak door een CustomNeRF-model voor te stellen dat een tekstbeschrijving of een referentieafbeelding verenigt als bewerkingsprompt. Het verkrijgen van gewenste bewerkingsresultaten die overeenkomen met de bewerkingsprompt is echter niet triviaal, aangezien er twee belangrijke uitdagingen bestaan, waaronder nauwkeurige bewerking van alleen de voorgrondregio's en multi-view consistentie gegeven een single-view referentieafbeelding. Om de eerste uitdaging aan te pakken, stellen we een Local-Global Iterative Editing (LGIE) trainingsschema voor dat afwisselt tussen bewerking van de voorgrondregio en bewerking van de volledige afbeelding, gericht op manipulatie van alleen de voorgrond terwijl de achtergrond behouden blijft. Voor de tweede uitdaging ontwerpen we ook een klasse-gestuurde regularisatie die klasse-priors binnen het generatiemodel benut om het inconsistentieprobleem tussen verschillende views in beeld-gestuurde bewerking te verlichten. Uitgebreide experimenten tonen aan dat onze CustomNeRF precieze bewerkingsresultaten oplevert in verschillende realistische scènes voor zowel tekst- als beeld-gestuurde instellingen.

English

In this paper, we target the adaptive source driven 3D scene editing task by proposing a CustomNeRF model that unifies a text description or a reference image as the editing prompt. However, obtaining desired editing results conformed with the editing prompt is nontrivial since there exist two significant challenges, including accurate editing of only foreground regions and multi-view consistency given a single-view reference image. To tackle the first challenge, we propose a Local-Global Iterative Editing (LGIE) training scheme that alternates between foreground region editing and full-image editing, aimed at foreground-only manipulation while preserving the background. For the second challenge, we also design a class-guided regularization that exploits class priors within the generation model to alleviate the inconsistency problem among different views in image-driven editing. Extensive experiments show that our CustomNeRF produces precise editing results under various real scenes for both text- and image-driven settings.