BANG: 생성적 폭발 역학을 통한 3D 자원 분할

초록

3D 창작은 항상 인간만의 독특한 강점으로 여겨져 왔으며, 이는 우리의 눈, 마음, 손을 이용해 물체를 해체하고 재조립할 수 있는 능력에서 비롯됩니다. 그러나 현재의 3D 디자인 도구들은 이러한 자연스러운 과정을 재현하는 데 어려움을 겪고 있으며, 상당한 예술적 전문성과 수작업을 요구합니다. 본 논문은 BANG이라는 새로운 생성적 접근 방식을 소개하며, 이는 3D 생성과 추론을 연결하여 직관적이고 유연한 부위 수준의 3D 객체 분해를 가능하게 합니다. BANG의 핵심은 "생성적 폭발 동역학(Generative Exploded Dynamics)"으로, 입력된 기하학적 구조에 대해 부드러운 폭발 상태 시퀀스를 생성하며, 부위를 점진적으로 분리하면서도 기하학적 및 의미론적 일관성을 유지합니다. BANG은 사전 훈련된 대규모 잠재 확산 모델을 활용하며, 경량의 폭발 뷰 어댑터를 통해 폭발 동역학에 맞게 미세 조정되어 분해 과정을 정밀하게 제어할 수 있습니다. 또한, 시간적 주의 모듈을 통합하여 시간에 걸친 부드러운 전환과 일관성을 보장합니다. BANG은 경계 상자 및 표면 영역과 같은 공간적 프롬프트를 통해 제어를 강화하여 사용자가 어떤 부위를 어떻게 분해할지 지정할 수 있게 합니다. 이러한 상호작용은 GPT-4와 같은 다중 모델 모델로 확장될 수 있으며, 더 직관적이고 창의적인 워크플로우를 위한 2D-to-3D 조작을 가능하게 합니다. BANG의 기능은 상세한 부위 수준의 기하학적 구조 생성, 기능적 설명과 부위의 연관, 부위 인식 3D 창작 및 제조 워크플로우 촉진까지 확장됩니다. 또한, BANG은 3D 프린팅 분야에서도 응용 가능하며, 쉽게 인쇄하고 재조립할 수 있는 분리 가능한 부위를 생성합니다. 본질적으로, BANG은 상상력에서 출발한 개념을 상세한 3D 자산으로 원활하게 변환하며, 인간의 직관과 공명하는 새로운 창작 관점을 제공합니다.

English

3D creation has always been a unique human strength, driven by our ability to deconstruct and reassemble objects using our eyes, mind and hand. However, current 3D design tools struggle to replicate this natural process, requiring considerable artistic expertise and manual labor. This paper introduces BANG, a novel generative approach that bridges 3D generation and reasoning, allowing for intuitive and flexible part-level decomposition of 3D objects. At the heart of BANG is "Generative Exploded Dynamics", which creates a smooth sequence of exploded states for an input geometry, progressively separating parts while preserving their geometric and semantic coherence. BANG utilizes a pre-trained large-scale latent diffusion model, fine-tuned for exploded dynamics with a lightweight exploded view adapter, allowing precise control over the decomposition process. It also incorporates a temporal attention module to ensure smooth transitions and consistency across time. BANG enhances control with spatial prompts, such as bounding boxes and surface regions, enabling users to specify which parts to decompose and how. This interaction can be extended with multimodal models like GPT-4, enabling 2D-to-3D manipulations for more intuitive and creative workflows. The capabilities of BANG extend to generating detailed part-level geometry, associating parts with functional descriptions, and facilitating component-aware 3D creation and manufacturing workflows. Additionally, BANG offers applications in 3D printing, where separable parts are generated for easy printing and reassembly. In essence, BANG enables seamless transformation from imaginative concepts to detailed 3D assets, offering a new perspective on creation that resonates with human intuition.

BANG: 생성적 폭발 역학을 통한 3D 자원 분할

BANG: Dividing 3D Assets via Generative Exploded Dynamics

초록

Support