Progressive3D: Edición Progresivamente Local para la Creación de Contenido Texto-a-3D con Indicaciones Semánticas Complejas

Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts

October 18, 2023

Autores: Xinhua Cheng, Tianyu Yang, Jianan Wang, Yu Li, Lei Zhang, Jian Zhang, Li Yuan

cs.AI

Resumen

Los métodos recientes de generación de texto a 3D logran una capacidad impresionante para la creación de contenido 3D gracias a los avances en los modelos de difusión de imágenes y las estrategias de optimización. Sin embargo, los métodos actuales tienen dificultades para generar contenido 3D correcto para un mensaje complejo en términos semánticos, es decir, un mensaje que describe múltiples objetos interactuando con diferentes atributos. En este trabajo, proponemos un marco general denominado Progressive3D, que descompone la generación completa en una serie de pasos de edición localmente progresivos para crear contenido 3D preciso para mensajes complejos, y restringimos el cambio de contenido a ocurrir solo en regiones determinadas por mensajes de región definidos por el usuario en cada paso de edición. Además, proponemos una técnica de supresión de componentes semánticos superpuestos para fomentar que el proceso de optimización se enfoque más en las diferencias semánticas entre los mensajes. Experimentos extensivos demuestran que el marco Progressive3D propuesto genera contenido 3D preciso para mensajes con semántica compleja y es generalizable para diversos métodos de texto a 3D impulsados por diferentes representaciones 3D.

English

Recent text-to-3D generation methods achieve impressive 3D content creation capacity thanks to the advances in image diffusion models and optimizing strategies. However, current methods struggle to generate correct 3D content for a complex prompt in semantics, i.e., a prompt describing multiple interacted objects binding with different attributes. In this work, we propose a general framework named Progressive3D, which decomposes the entire generation into a series of locally progressive editing steps to create precise 3D content for complex prompts, and we constrain the content change to only occur in regions determined by user-defined region prompts in each editing step. Furthermore, we propose an overlapped semantic component suppression technique to encourage the optimization process to focus more on the semantic differences between prompts. Extensive experiments demonstrate that the proposed Progressive3D framework generates precise 3D content for prompts with complex semantics and is general for various text-to-3D methods driven by different 3D representations.