Coin3D: Generazione Controllabile e Interattiva di Asset 3D con Condizionamento Guidato da Proxy

Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

May 13, 2024

Autori: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Abstract

Noi esseri umani aspiriamo a creare contenuti multimediali che siano sia liberamente voluti che facilmente controllabili. Grazie allo sviluppo significativo delle tecniche generative, ora possiamo facilmente utilizzare metodi di diffusione 2D per sintetizzare immagini controllate da schizzi grezzi o pose umane designate, e persino modificare/rigenerare progressivamente regioni locali con inpainting mascherato. Tuttavia, flussi di lavoro simili nei compiti di modellazione 3D sono ancora indisponibili a causa della mancanza di controllabilità ed efficienza nella generazione 3D. In questo articolo, presentiamo un nuovo framework di modellazione di asset 3D controllabile e interattivo, denominato Coin3D. Coin3D consente agli utenti di controllare la generazione 3D utilizzando un proxy geometrico approssimativo assemblato da forme di base, e introduce un flusso di lavoro di generazione interattivo per supportare la modifica senza soluzione di continuità di parti locali, fornendo al contempo un'anteprima reattiva degli oggetti 3D in pochi secondi. A tal fine, sviluppiamo diverse tecniche, tra cui l'adattatore 3D che applica il controllo volumetrico della forma approssimativa al modello di diffusione, la strategia di modifica limitata dal proxy per una modifica precisa delle parti, la cache volumetrica progressiva per supportare un'anteprima reattiva, e il volume-SDS per garantire una ricostruzione mesh coerente. Esperimenti estesi di generazione e modifica interattiva su diversi proxy di forma dimostrano che il nostro metodo raggiunge una controllabilità e flessibilità superiori nel compito di generazione di asset 3D.

English

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.