Coin3D: Управляемое и интерактивное создание 3D-активов с использованием условий, направляемых через прокси.

Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

May 13, 2024

Авторы: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Аннотация

Как люди, мы стремимся создавать медиа-контент, который был бы и свободно волен, и легко контролируем. Благодаря значительному развитию генеративных техник, мы теперь можем легко использовать 2D методы диффузии для синтеза изображений, контролируемых сырым наброском или заданными позами человека, а также постепенно редактировать/регенерировать локальные области с помощью маскированного заполнения. Однако аналогичные рабочие процессы в задачах 3D-моделирования до сих пор недоступны из-за недостаточной контролируемости и эффективности в 3D-генерации. В данной статье мы представляем новую контролируемую и интерактивную рамку моделирования 3D-активов, названную Coin3D. Coin3D позволяет пользователям контролировать генерацию 3D с помощью грубого геометрического прокси, собранного из базовых форм, и вводит интерактивный рабочий процесс генерации для поддержки плавного редактирования локальных частей, обеспечивая отзывчивый предпросмотр 3D-объекта всего за несколько секунд. Для этого мы разработали несколько техник, включая 3D-адаптер, который применяет объемное управление грубой формой к модели диффузии, стратегию редактирования с ограничением прокси для точного редактирования части, прогрессивный объемный кэш для поддержки отзывчивого предпросмотра и объемный SDS для обеспечения последовательной реконструкции сетки. Обширные эксперименты по интерактивной генерации и редактированию на различных формах прокси демонстрируют, что наш метод достигает превосходной контролируемости и гибкости в задаче генерации 3D-активов.

English

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.