TIP-Editor: Een Nauwkeurige 3D-Editor die zowel Tekstprompts als Afbeeldingsprompts Volgt

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Auteurs: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Samenvatting

Tekstgestuurde 3D-scènebewerking heeft aanzienlijke aandacht gekregen vanwege het gemak en de gebruiksvriendelijkheid ervan. Bestaande methoden hebben echter nog steeds moeite met het nauwkeurig beheersen van de gespecificeerde uitstraling en locatie van het bewerkingsresultaat, vanwege de inherente beperkingen van de tekstbeschrijving. Om dit aan te pakken, stellen we een 3D-scènebewerkingsframework voor, TIPEditor, dat zowel tekst- als beeldprompts accepteert, evenals een 3D-begrenzingsvak om het bewerkingsgebied aan te geven. Met de beeldprompt kunnen gebruikers gemakkelijk de gedetailleerde uitstraling/stijl van het doelinhoud specificeren, als aanvulling op de tekstbeschrijving, waardoor nauwkeurige controle over de uitstraling mogelijk wordt. Specifiek maakt TIPEditor gebruik van een stapsgewijze 2D-personalisatiestrategie om de representatie van de bestaande scène en de referentieafbeelding beter te leren, waarbij een localisatieverlies wordt voorgesteld om de juiste plaatsing van het object, zoals gespecificeerd door het begrenzingsvak, te bevorderen. Daarnaast maakt TIPEditor gebruik van expliciete en flexibele 3D Gaussian splatting als 3D-representatie om lokale bewerkingen te vergemakkelijken terwijl de achtergrond ongewijzigd blijft. Uitgebreide experimenten hebben aangetoond dat TIPEditor nauwkeurige bewerkingen uitvoert volgens de tekst- en beeldprompts in het gespecificeerde begrenzingsvakgebied, waarbij het consistent beter presteert dan de baseline-methoden in bewerkingskwaliteit en de afstemming op de prompts, zowel kwalitatief als kwantitatief.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.