Coin3D: Beheersbare en interactieve 3D-assetgeneratie met proxy-gestuurde conditionering

Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

May 13, 2024

Auteurs: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Samenvatting

Als mensen streven we ernaar om mediacontent te creëren die zowel vrijwillig als gemakkelijk te controleren is. Dankzij de opmerkelijke ontwikkeling van generatieve technieken kunnen we nu eenvoudig 2D-diffusiemethoden gebruiken om afbeeldingen te synthetiseren die worden gecontroleerd door ruwe schetsen of specifieke menselijke poses, en zelfs lokale regio’s progressief bewerken/regenereren met gemaskeerde inpainting. Echter, vergelijkbare workflows in 3D-modelleringstaken zijn nog niet beschikbaar vanwege het gebrek aan controleerbaarheid en efficiëntie in 3D-generatie. In dit artikel presenteren we een nieuw controleerbaar en interactief 3D-assetmodelleringsframework, genaamd Coin3D. Coin3D stelt gebruikers in staat om de 3D-generatie te controleren met behulp van een grove geometrische proxy die is samengesteld uit basisvormen, en introduceert een interactief generatiewerkflow om naadloze lokale onderdeelbewerking te ondersteunen terwijl het binnen enkele seconden responsieve 3D-objectvoorbeelden levert. Hiertoe ontwikkelen we verschillende technieken, waaronder de 3D-adapter die volumetrische grove vormcontrole toepast op het diffusiemodel, een proxy-gebonden bewerkingsstrategie voor precieze onderdeelbewerking, een progressieve volumecache om responsieve voorbeelden te ondersteunen, en volume-SDS om consistente mesh-reconstructie te garanderen. Uitgebreide experimenten met interactieve generatie en bewerking op diverse vormproxies tonen aan dat onze methode superieure controleerbaarheid en flexibiliteit bereikt in de 3D-assetgeneratietaak.

English

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.