Personalize seu NeRF: Edição de Cenas 3D Orientada por Fonte Adaptativa via Treinamento Iterativo Local-Global

Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training

December 4, 2023

Autores: Runze He, Shaofei Huang, Xuecheng Nie, Tianrui Hui, Luoqi Liu, Jiao Dai, Jizhong Han, Guanbin Li, Si Liu

cs.AI

Resumo

Neste artigo, abordamos a tarefa de edição adaptativa de cenas 3D orientada por fonte, propondo um modelo CustomNeRF que unifica uma descrição textual ou uma imagem de referência como prompt de edição. No entanto, obter resultados de edição desejados que estejam em conformidade com o prompt de edição não é trivial, pois existem dois desafios significativos: a edição precisa apenas das regiões de primeiro plano e a consistência multi-visão dada uma imagem de referência de visão única. Para enfrentar o primeiro desafio, propomos um esquema de treinamento de Edição Iterativa Local-Global (LGIE) que alterna entre a edição da região de primeiro plano e a edição da imagem completa, visando a manipulação apenas do primeiro plano enquanto preserva o fundo. Para o segundo desafio, também projetamos uma regularização guiada por classe que explora os priores de classe dentro do modelo de geração para aliviar o problema de inconsistência entre diferentes visões na edição orientada por imagem. Experimentos extensivos mostram que nosso CustomNeRF produz resultados de edição precisos em várias cenas reais, tanto para configurações orientadas por texto quanto por imagem.

English

In this paper, we target the adaptive source driven 3D scene editing task by proposing a CustomNeRF model that unifies a text description or a reference image as the editing prompt. However, obtaining desired editing results conformed with the editing prompt is nontrivial since there exist two significant challenges, including accurate editing of only foreground regions and multi-view consistency given a single-view reference image. To tackle the first challenge, we propose a Local-Global Iterative Editing (LGIE) training scheme that alternates between foreground region editing and full-image editing, aimed at foreground-only manipulation while preserving the background. For the second challenge, we also design a class-guided regularization that exploits class priors within the generation model to alleviate the inconsistency problem among different views in image-driven editing. Extensive experiments show that our CustomNeRF produces precise editing results under various real scenes for both text- and image-driven settings.