Coin3D : Génération contrôlable et interactive d'actifs 3D avec conditionnement guidé par proxy

Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

May 13, 2024

Auteurs: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Résumé

En tant qu'êtres humains, nous aspirons à créer des contenus médiatiques qui soient à la fois librement conçus et facilement contrôlables. Grâce aux avancées majeures des techniques génératives, nous pouvons désormais utiliser des méthodes de diffusion 2D pour synthétiser des images contrôlées par des esquisses brutes ou des poses humaines spécifiques, et même éditer/régénérer progressivement des régions locales grâce à la réparation par masquage. Cependant, des workflows similaires dans les tâches de modélisation 3D restent inaccessibles en raison du manque de contrôlabilité et d'efficacité dans la génération 3D. Dans cet article, nous présentons un nouveau cadre de modélisation d'actifs 3D contrôlable et interactif, nommé Coin3D. Coin3D permet aux utilisateurs de contrôler la génération 3D à l'aide d'un proxy géométrique grossier assemblé à partir de formes de base, et introduit un workflow de génération interactif pour supporter l'édition locale fluide tout en offrant un aperçu réactif des objets 3D en quelques secondes. Pour ce faire, nous développons plusieurs techniques, notamment l'adaptateur 3D qui applique un contrôle volumétrique de forme grossière au modèle de diffusion, une stratégie d'édition limitée par proxy pour une édition précise des parties, un cache volumique progressif pour supporter un aperçu réactif, et le volume-SDS pour assurer une reconstruction de maillage cohérente. Des expériences approfondies de génération et d'édition interactives sur divers proxies de forme démontrent que notre méthode atteint une contrôlabilité et une flexibilité supérieures dans la tâche de génération d'actifs 3D.

English

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.