Personaliza tu NeRF: Edición de Escenas 3D Impulsada por Fuentes Adaptativas mediante Entrenamiento Iterativo Local-Global

Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training

December 4, 2023

Autores: Runze He, Shaofei Huang, Xuecheng Nie, Tianrui Hui, Luoqi Liu, Jiao Dai, Jizhong Han, Guanbin Li, Si Liu

cs.AI

Resumen

En este artículo, abordamos la tarea de edición adaptativa de escenas 3D impulsada por una fuente, proponiendo un modelo CustomNeRF que unifica una descripción textual o una imagen de referencia como indicación de edición. Sin embargo, obtener resultados de edición deseados que se ajusten a la indicación no es trivial, ya que existen dos desafíos significativos: la edición precisa de solo las regiones en primer plano y la consistencia multi-vista dada una imagen de referencia de una sola vista. Para abordar el primer desafío, proponemos un esquema de entrenamiento de Edición Iterativa Local-Global (LGIE) que alterna entre la edición de regiones en primer plano y la edición de la imagen completa, con el objetivo de manipular solo el primer plano mientras se preserva el fondo. Para el segundo desafío, también diseñamos una regularización guiada por clases que aprovecha los conocimientos previos de clases dentro del modelo de generación para mitigar el problema de inconsistencia entre diferentes vistas en la edición impulsada por imágenes. Experimentos exhaustivos muestran que nuestro CustomNeRF produce resultados de edición precisos en diversas escenas reales, tanto en configuraciones impulsadas por texto como por imágenes.

English

In this paper, we target the adaptive source driven 3D scene editing task by proposing a CustomNeRF model that unifies a text description or a reference image as the editing prompt. However, obtaining desired editing results conformed with the editing prompt is nontrivial since there exist two significant challenges, including accurate editing of only foreground regions and multi-view consistency given a single-view reference image. To tackle the first challenge, we propose a Local-Global Iterative Editing (LGIE) training scheme that alternates between foreground region editing and full-image editing, aimed at foreground-only manipulation while preserving the background. For the second challenge, we also design a class-guided regularization that exploits class priors within the generation model to alleviate the inconsistency problem among different views in image-driven editing. Extensive experiments show that our CustomNeRF produces precise editing results under various real scenes for both text- and image-driven settings.