TIP-Editor : Un éditeur 3D précis suivant à la fois les instructions textuelles et les indications visuelles

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Auteurs: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Résumé

L'édition de scènes 3D pilotée par texte a suscité une attention considérable en raison de sa commodité et de sa convivialité. Cependant, les méthodes existantes manquent encore de contrôle précis sur l'apparence et l'emplacement spécifiés du résultat de l'édition, en raison des limitations inhérentes à la description textuelle. Pour pallier cela, nous proposons un cadre d'édition de scènes 3D, TIPEditor, qui accepte à la fois des invites textuelles et visuelles ainsi qu'une boîte englobante 3D pour spécifier la région à éditer. Grâce à l'invite visuelle, les utilisateurs peuvent spécifier de manière pratique l'apparence/le style détaillé du contenu cible en complément de la description textuelle, permettant un contrôle précis de l'apparence. Plus précisément, TIPEditor emploie une stratégie de personnalisation 2D progressive pour mieux apprendre la représentation de la scène existante et de l'image de référence, dans laquelle une perte de localisation est proposée pour encourager un placement correct des objets tel que spécifié par la boîte englobante. De plus, TIPEditor utilise un lissage explicite et flexible de Gaussiennes 3D comme représentation 3D pour faciliter l'édition locale tout en conservant l'arrière-plan inchangé. Des expériences approfondies ont démontré que TIPEditor effectue des éditions précises suivant les invites textuelles et visuelles dans la région de la boîte englobante spécifiée, surpassant systématiquement les méthodes de référence en termes de qualité d'édition et d'alignement aux invites, qualitativement et quantitativement.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.