Coin3D: Steuerbare und interaktive 3D-Asset-Erzeugung mit Proxy-geführter Konditionierung

Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

May 13, 2024

Autoren: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Zusammenfassung

Als Menschen streben wir danach, Medieninhalte zu schaffen, die sowohl freiwillig als auch leicht kontrollierbar sind. Dank der bedeutenden Entwicklung generativer Techniken können wir nun problemlos 2D-Diffusionsmethoden nutzen, um Bilder zu synthetisieren, die durch Rohskizzen oder bestimmte menschliche Posen gesteuert werden, und sogar lokale Regionen progressiv zu bearbeiten/regenerieren mit maskiertem Inpainting. Ähnliche Workflows bei 3D-Modellierungsaufgaben sind jedoch aufgrund mangelnder Kontrollierbarkeit und Effizienz bei der 3D-Generierung noch nicht verfügbar. In diesem Paper präsentieren wir ein neuartiges kontrollierbares und interaktives 3D-Assets-Modellierungsframework namens Coin3D. Coin3D ermöglicht es Benutzern, die 3D-Generierung mithilfe eines groben geometrischen Proxys zu steuern, der aus Grundformen zusammengesetzt ist, und führt einen interaktiven Generierungsworkflow ein, um nahtloses lokales Teile-Editing zu unterstützen, während gleichzeitig innerhalb weniger Sekunden eine reaktionsschnelle 3D-Objektvorschau geliefert wird. Zu diesem Zweck entwickeln wir mehrere Techniken, darunter den 3D-Adapter, der volumetrische grobe Formkontrolle auf das Diffusionsmodell anwendet, eine Proxy-gebundene Bearbeitungsstrategie für präzises Teile-Editing, einen progressiven Volumen-Cache zur Unterstützung reaktionsschneller Vorschauen und Volume-SDS zur Sicherstellung einer konsistenten Mesh-Rekonstruktion. Umfangreiche Experimente zur interaktiven Generierung und Bearbeitung an verschiedenen Formproxys zeigen, dass unsere Methode eine überlegene Kontrollierbarkeit und Flexibilität bei der 3D-Assets-Generierungsaufgabe erreicht.

English

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.