TIP-Editor: Un Editor 3D di Precisione che Segue sia Prompt Testuali che Prompt Immagine

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Autori: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Abstract

L'editing di scene 3D guidato da testo ha attirato notevole attenzione grazie alla sua praticità e facilità d'uso. Tuttavia, i metodi esistenti presentano ancora una mancanza di controllo accurato sull'aspetto specificato e sulla posizione del risultato dell'editing, a causa delle limitazioni intrinseche della descrizione testuale. A tal fine, proponiamo un framework di editing di scene 3D, TIPEditor, che accetta sia prompt testuali che immagini, insieme a un bounding box 3D per specificare la regione da modificare. Grazie al prompt immagine, gli utenti possono specificare comodamente l'aspetto/stile dettagliato del contenuto target, integrando la descrizione testuale e consentendo un controllo preciso dell'aspetto. Nello specifico, TIPEditor adotta una strategia di personalizzazione 2D graduale per apprendere meglio la rappresentazione della scena esistente e dell'immagine di riferimento, in cui viene introdotta una perdita di localizzazione per incoraggiare il corretto posizionamento degli oggetti come specificato dal bounding box. Inoltre, TIPEditor utilizza una rappresentazione 3D esplicita e flessibile basata su splatting gaussiano per facilitare l'editing locale mantenendo invariato lo sfondo. Esperimenti estensivi hanno dimostrato che TIPEditor esegue editing accurati seguendo i prompt testuali e visivi nella regione del bounding box specificata, superando costantemente i metodi di riferimento in termini di qualità dell'editing e allineamento ai prompt, sia qualitativamente che quantitativamente.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.