TIP-Editor: Un Editor 3D Preciso que Sigue tanto Indicaciones de Texto como de Imagen

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Autores: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Resumen

La edición de escenas 3D basada en texto ha ganado una atención significativa debido a su conveniencia y facilidad de uso. Sin embargo, los métodos existentes aún carecen de un control preciso sobre la apariencia y la ubicación especificadas del resultado de la edición, debido a las limitaciones inherentes de la descripción textual. Para abordar esto, proponemos un marco de edición de escenas 3D, TIPEditor, que acepta tanto indicaciones de texto como de imagen, junto con una caja delimitadora 3D para especificar la región de edición. Con la indicación de imagen, los usuarios pueden especificar de manera conveniente la apariencia/estilo detallada del contenido objetivo, complementando la descripción textual y permitiendo un control preciso de la apariencia. Específicamente, TIPEditor emplea una estrategia de personalización 2D paso a paso para aprender mejor la representación de la escena existente y la imagen de referencia, en la cual se propone una pérdida de localización para fomentar la colocación correcta del objeto según lo especificado por la caja delimitadora. Además, TIPEditor utiliza el splatting de Gaussianas 3D explícito y flexible como representación 3D para facilitar la edición local mientras se mantiene el fondo sin cambios. Experimentos extensivos han demostrado que TIPEditor realiza ediciones precisas siguiendo las indicaciones de texto e imagen en la región de la caja delimitadora especificada, superando consistentemente a los métodos base en calidad de edición y alineación con las indicaciones, tanto cualitativa como cuantitativamente.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.