BANG: Suddivisione di Asset 3D tramite Dinamiche Esplose Generative

Abstract

La creazione 3D è sempre stata una capacità unica dell'essere umano, guidata dalla nostra abilità di scomporre e riassemblare oggetti utilizzando occhi, mente e mani. Tuttavia, gli attuali strumenti di progettazione 3D faticano a replicare questo processo naturale, richiedendo una notevole competenza artistica e lavoro manuale. Questo articolo introduce BANG, un approccio generativo innovativo che collega la generazione 3D e il ragionamento, consentendo una scomposizione intuitiva e flessibile degli oggetti 3D a livello di parti. Al centro di BANG c'è la "Dinamica Generativa Esplosa", che crea una sequenza fluida di stati esplosi per una geometria di input, separando progressivamente le parti preservandone la coerenza geometrica e semantica. BANG utilizza un modello di diffusione latente su larga scala pre-addestrato, ottimizzato per la dinamica esplosa con un adattatore leggero per le viste esplose, consentendo un controllo preciso sul processo di scomposizione. Incorpora inoltre un modulo di attenzione temporale per garantire transizioni fluide e coerenza nel tempo. BANG migliora il controllo con prompt spaziali, come bounding box e regioni superficiali, permettendo agli utenti di specificare quali parti scomporre e come. Questa interazione può essere estesa con modelli multimodali come GPT-4, abilitando manipolazioni da 2D a 3D per flussi di lavoro più intuitivi e creativi. Le capacità di BANG si estendono alla generazione di geometrie dettagliate a livello di parti, all'associazione di parti con descrizioni funzionali e alla facilitazione di flussi di lavoro di creazione e produzione 3D consapevoli dei componenti. Inoltre, BANG offre applicazioni nella stampa 3D, dove parti separabili vengono generate per una facile stampa e riassemblaggio. In sostanza, BANG consente una trasformazione senza soluzione di continuità da concetti immaginativi a risorse 3D dettagliate, offrendo una nuova prospettiva sulla creazione che risuona con l'intuizione umana.

English

3D creation has always been a unique human strength, driven by our ability to deconstruct and reassemble objects using our eyes, mind and hand. However, current 3D design tools struggle to replicate this natural process, requiring considerable artistic expertise and manual labor. This paper introduces BANG, a novel generative approach that bridges 3D generation and reasoning, allowing for intuitive and flexible part-level decomposition of 3D objects. At the heart of BANG is "Generative Exploded Dynamics", which creates a smooth sequence of exploded states for an input geometry, progressively separating parts while preserving their geometric and semantic coherence. BANG utilizes a pre-trained large-scale latent diffusion model, fine-tuned for exploded dynamics with a lightweight exploded view adapter, allowing precise control over the decomposition process. It also incorporates a temporal attention module to ensure smooth transitions and consistency across time. BANG enhances control with spatial prompts, such as bounding boxes and surface regions, enabling users to specify which parts to decompose and how. This interaction can be extended with multimodal models like GPT-4, enabling 2D-to-3D manipulations for more intuitive and creative workflows. The capabilities of BANG extend to generating detailed part-level geometry, associating parts with functional descriptions, and facilitating component-aware 3D creation and manufacturing workflows. Additionally, BANG offers applications in 3D printing, where separable parts are generated for easy printing and reassembly. In essence, BANG enables seamless transformation from imaginative concepts to detailed 3D assets, offering a new perspective on creation that resonates with human intuition.

BANG: Suddivisione di Asset 3D tramite Dinamiche Esplose Generative

BANG: Dividing 3D Assets via Generative Exploded Dynamics

Abstract

Support