Tailor3D: Настройка редактирования и генерации 3D-активов с двусторонними изображениями

Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images

July 8, 2024

Авторы: Zhangyang Qi, Yunhan Yang, Mengchen Zhang, Long Xing, Xiaoyang Wu, Tong Wu, Dahua Lin, Xihui Liu, Jiaqi Wang, Hengshuang Zhao

cs.AI

Аннотация

Недавние достижения в области 3D автоматического создания объектов показали перспективу непосредственного создания 3D объектов из текста и изображений, что предлагает значительные экономические выгоды в анимации и дизайне продуктов. Однако детальное редактирование и настройка 3D ресурсов остаются давней проблемой. В частности, методы генерации 3D не обладают способностью следовать тонким деталям инструкций так же точно, как их аналоги для создания 2D изображений. Представьте, что вы можете получить игрушку через 3D автоматическое создание объектов, но с нежелательными аксессуарами и одеждой. Для решения этой проблемы мы предлагаем новый конвейер под названием Tailor3D, который быстро создает настраиваемые 3D ресурсы из редактируемых двусторонних изображений. Мы стремимся эмулировать способность портного локально изменять объекты или выполнять общую стилизацию. В отличие от создания 3D ресурсов из нескольких видов, использование двусторонних изображений исключает конфликты на перекрывающихся областях, которые возникают при редактировании отдельных видов. Конкретно, процесс начинается с редактирования переднего вида, затем генерируется задний вид объекта через многовидовую диффузию. Затем происходит редактирование задних видов. Наконец, предлагается двусторонняя модель с ограниченной памятью (LRM), которая бесшовно соединяет передние и задние 3D характеристики, подобно портному, сшивающему переднюю и заднюю части одежды. Двусторонняя LRM исправляет несовершенные несоответствия между передними и задними видами, улучшая возможности редактирования и снижая нагрузку на память, обеспечивая их бесшовное интегрирование в единую 3D модель с помощью трансформера LoRA Triplane. Экспериментальные результаты демонстрируют эффективность Tailor3D в различных задачах генерации и редактирования 3D, включая 3D генеративное заполнение и стилизацию. Он предоставляет удобное для пользователя, эффективное решение для редактирования 3D ресурсов, причем каждый шаг редактирования занимает всего несколько секунд.

English

Recent advances in 3D AIGC have shown promise in directly creating 3D objects from text and images, offering significant cost savings in animation and product design. However, detailed edit and customization of 3D assets remains a long-standing challenge. Specifically, 3D Generation methods lack the ability to follow finely detailed instructions as precisely as their 2D image creation counterparts. Imagine you can get a toy through 3D AIGC but with undesired accessories and dressing. To tackle this challenge, we propose a novel pipeline called Tailor3D, which swiftly creates customized 3D assets from editable dual-side images. We aim to emulate a tailor's ability to locally change objects or perform overall style transfer. Unlike creating 3D assets from multiple views, using dual-side images eliminates conflicts on overlapping areas that occur when editing individual views. Specifically, it begins by editing the front view, then generates the back view of the object through multi-view diffusion. Afterward, it proceeds to edit the back views. Finally, a Dual-sided LRM is proposed to seamlessly stitch together the front and back 3D features, akin to a tailor sewing together the front and back of a garment. The Dual-sided LRM rectifies imperfect consistencies between the front and back views, enhancing editing capabilities and reducing memory burdens while seamlessly integrating them into a unified 3D representation with the LoRA Triplane Transformer. Experimental results demonstrate Tailor3D's effectiveness across various 3D generation and editing tasks, including 3D generative fill and style transfer. It provides a user-friendly, efficient solution for editing 3D assets, with each editing step taking only seconds to complete.