Progressive3D: Edição Progressivamente Local para Criação de Conteúdo Texto-para-3D com Prompts Semânticos Complexos

Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts

October 18, 2023

Autores: Xinhua Cheng, Tianyu Yang, Jianan Wang, Yu Li, Lei Zhang, Jian Zhang, Li Yuan

cs.AI

Resumo

Métodos recentes de geração de texto para 3D alcançam uma impressionante capacidade de criação de conteúdo 3D graças aos avanços nos modelos de difusão de imagens e estratégias de otimização. No entanto, os métodos atuais enfrentam dificuldades para gerar conteúdo 3D correto para prompts complexos em termos de semântica, ou seja, um prompt que descreve múltiplos objetos interagindo com diferentes atributos. Neste trabalho, propomos um framework geral chamado Progressive3D, que decompõe a geração completa em uma série de etapas de edição localmente progressivas para criar conteúdo 3D preciso para prompts complexos, e restringimos a mudança de conteúdo a ocorrer apenas em regiões determinadas por prompts de região definidos pelo usuário em cada etapa de edição. Além disso, propomos uma técnica de supressão de componentes semânticos sobrepostos para incentivar o processo de otimização a focar mais nas diferenças semânticas entre os prompts. Experimentos extensivos demonstram que o framework Progressive3D proposto gera conteúdo 3D preciso para prompts com semântica complexa e é geral para vários métodos de texto para 3D impulsionados por diferentes representações 3D.

English

Recent text-to-3D generation methods achieve impressive 3D content creation capacity thanks to the advances in image diffusion models and optimizing strategies. However, current methods struggle to generate correct 3D content for a complex prompt in semantics, i.e., a prompt describing multiple interacted objects binding with different attributes. In this work, we propose a general framework named Progressive3D, which decomposes the entire generation into a series of locally progressive editing steps to create precise 3D content for complex prompts, and we constrain the content change to only occur in regions determined by user-defined region prompts in each editing step. Furthermore, we propose an overlapped semantic component suppression technique to encourage the optimization process to focus more on the semantic differences between prompts. Extensive experiments demonstrate that the proposed Progressive3D framework generates precise 3D content for prompts with complex semantics and is general for various text-to-3D methods driven by different 3D representations.