TIP-Editor: Um Editor 3D Preciso que Segue tanto Prompts de Texto quanto Prompts de Imagem

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Autores: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Resumo

A edição de cenas 3D orientada por texto tem ganhado atenção significativa devido à sua conveniência e facilidade de uso. No entanto, os métodos existentes ainda carecem de controle preciso sobre a aparência e a localização especificadas do resultado da edição, devido às limitações inerentes da descrição textual. Para isso, propomos um framework de edição de cenas 3D, chamado TIPEditor, que aceita tanto prompts de texto quanto de imagem, além de uma caixa delimitadora 3D para especificar a região de edição. Com o prompt de imagem, os usuários podem especificar convenientemente a aparência/estilo detalhada do conteúdo alvo, complementando a descrição textual e permitindo um controle preciso da aparência. Especificamente, o TIPEditor emprega uma estratégia de personalização 2D passo a passo para aprender melhor a representação da cena existente e da imagem de referência, na qual uma função de perda de localização é proposta para incentivar o posicionamento correto do objeto conforme especificado pela caixa delimitadora. Além disso, o TIPEditor utiliza o splatting de Gaussianas 3D explícito e flexível como representação 3D para facilitar a edição local, mantendo o fundo inalterado. Experimentos extensivos demonstraram que o TIPEditor realiza edições precisas seguindo os prompts de texto e imagem na região especificada pela caixa delimitadora, superando consistentemente as abordagens de referência em qualidade de edição e alinhamento aos prompts, tanto qualitativa quanto quantitativamente.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.