TIP-Editor: Точный 3D-редактор, следующий как текстовым, так и визуальным подсказкам

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

Авторы: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

Аннотация

Редактирование 3D-сцен с использованием текстовых описаний привлекает значительное внимание благодаря своей удобству и простоте использования. Однако существующие методы всё ещё не обеспечивают точного контроля над внешним видом и местоположением результата редактирования из-за присущих ограничений текстовых описаний. Для решения этой проблемы мы предлагаем фреймворк для редактирования 3D-сцен, TIPEditor, который принимает как текстовые и графические подсказки, так и 3D-ограничивающий прямоугольник для указания области редактирования. С помощью графической подсказки пользователи могут легко задать детали внешнего вида/стиля целевого содержимого в дополнение к текстовому описанию, что обеспечивает точный контроль над внешним видом. В частности, TIPEditor использует пошаговую стратегию 2D-персонализации для более точного изучения представления существующей сцены и эталонного изображения, в которой предлагается функция потерь локализации для корректного размещения объекта в соответствии с указанным ограничивающим прямоугольником. Кроме того, TIPEditor использует явное и гибкое 3D-представление на основе гауссовых сплайнов для облегчения локального редактирования при сохранении фона неизменным. Многочисленные эксперименты показали, что TIPEditor выполняет точное редактирование в соответствии с текстовыми и графическими подсказками в указанной области ограничивающего прямоугольника, стабильно превосходя базовые методы по качеству редактирования и соответствию подсказкам как качественно, так и количественно.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.