BANG: 生成的な爆発的ダイナミクスによる3Dアセットの分割

要旨

3D創作は、目、頭、手を用いて物体を分解し再構築する能力によって駆動される、人間特有の強みである。しかし、現在の3Dデザインツールはこの自然なプロセスを再現するのに苦労しており、相当な芸術的専門知識と手作業を必要とする。本論文では、3D生成と推論を橋渡しする新しい生成手法であるBANGを紹介する。BANGは、3Dオブジェクトの直感的で柔軟なパーツレベル分解を可能にする。BANGの中核にあるのは「生成的爆発ダイナミクス」であり、入力された幾何学に対して滑らかな爆発状態のシーケンスを作成し、パーツを徐々に分離しながら幾何学的および意味的な一貫性を保つ。 BANGは、事前学習された大規模潜在拡散モデルを利用し、軽量な爆発ビューアダプタで爆発ダイナミクスに微調整を加えることで、分解プロセスを精密に制御する。また、時間的注意モジュールを組み込むことで、時間軸にわたる滑らかな遷移と一貫性を確保する。BANGは、バウンディングボックスや表面領域などの空間プロンプトを用いて制御を強化し、ユーザーがどのパーツをどのように分解するかを指定できるようにする。このインタラクションは、GPT-4のようなマルチモーダルモデルと組み合わせることで拡張可能であり、より直感的で創造的なワークフローを実現する2D-to-3D操作を可能にする。 BANGの能力は、詳細なパーツレベル幾何学の生成、パーツと機能的な説明の関連付け、コンポーネントを意識した3D創作および製造ワークフローの促進にまで及ぶ。さらに、BANGは3Dプリンティングにも応用可能であり、容易な印刷と再組み立てのための分離可能なパーツを生成する。本質的に、BANGは想像上の概念から詳細な3Dアセットへのシームレスな変換を可能にし、人間の直感に共鳴する新しい創作の視点を提供する。

English

3D creation has always been a unique human strength, driven by our ability to deconstruct and reassemble objects using our eyes, mind and hand. However, current 3D design tools struggle to replicate this natural process, requiring considerable artistic expertise and manual labor. This paper introduces BANG, a novel generative approach that bridges 3D generation and reasoning, allowing for intuitive and flexible part-level decomposition of 3D objects. At the heart of BANG is "Generative Exploded Dynamics", which creates a smooth sequence of exploded states for an input geometry, progressively separating parts while preserving their geometric and semantic coherence. BANG utilizes a pre-trained large-scale latent diffusion model, fine-tuned for exploded dynamics with a lightweight exploded view adapter, allowing precise control over the decomposition process. It also incorporates a temporal attention module to ensure smooth transitions and consistency across time. BANG enhances control with spatial prompts, such as bounding boxes and surface regions, enabling users to specify which parts to decompose and how. This interaction can be extended with multimodal models like GPT-4, enabling 2D-to-3D manipulations for more intuitive and creative workflows. The capabilities of BANG extend to generating detailed part-level geometry, associating parts with functional descriptions, and facilitating component-aware 3D creation and manufacturing workflows. Additionally, BANG offers applications in 3D printing, where separable parts are generated for easy printing and reassembly. In essence, BANG enables seamless transformation from imaginative concepts to detailed 3D assets, offering a new perspective on creation that resonates with human intuition.

BANG: 生成的な爆発的ダイナミクスによる3Dアセットの分割

BANG: Dividing 3D Assets via Generative Exploded Dynamics

要旨

Support