Atlas3D: 시뮬레이션 및 제조를 위한 물리적 제약을 고려한 자체 지지형 텍스트-3D 변환

Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication

May 28, 2024

저자: Yunuo Chen, Tianyi Xie, Zeshun Zong, Xuan Li, Feng Gao, Yin Yang, Ying Nian Wu, Chenfanfu Jiang

cs.AI

초록

기존의 확산 기반 텍스트-3D 생성 방법은 주로 시각적으로 사실적인 형태와 외관을 만드는 데 초점을 맞추며, 하위 작업에 필요한 물리적 제약 조건을 종종 간과합니다. 생성된 모델은 물리 기반 시뮬레이션에 배치되거나 3D 프린팅될 때 균형을 유지하지 못하는 경우가 많습니다. 이러한 균형은 인터랙티브 게임, 구체화된 AI, 로보틱스와 같은 분야에서 사용자 설계 의도를 충족시키기 위해 안정적인 모델이 필요한 경우에 매우 중요합니다. 또한, 안정적인 모델은 가정 장식용 피규어와 같은 3D 프린팅된 물체가 추가 지지대 없이 스스로 서 있을 수 있도록 보장합니다. 이러한 격차를 메우기 위해, 우리는 Atlas3D를 소개합니다. Atlas3D는 기존의 Score Distillation Sampling (SDS) 기반 텍스트-3D 도구를 강화하는 자동적이고 구현이 쉬운 방법입니다. Atlas3D는 중력, 접촉, 마찰과 같은 물리적 안정성 법칙을 준수하는 자립형 3D 모델의 생성을 보장합니다. 우리의 접근 방식은 새로운 미분 가능 시뮬레이션 기반 손실 함수와 물리적으로 영감을 받은 정규화를 결합하여, 기존 프레임워크의 개선 또는 후처리 모듈로 사용됩니다. 우리는 광범위한 생성 작업을 통해 Atlas3D의 효능을 검증하고, 시뮬레이션 및 실제 환경에서 생성된 3D 모델의 유효성을 확인합니다.

English

Existing diffusion-based text-to-3D generation methods primarily focus on producing visually realistic shapes and appearances, often neglecting the physical constraints necessary for downstream tasks. Generated models frequently fail to maintain balance when placed in physics-based simulations or 3D printed. This balance is crucial for satisfying user design intentions in interactive gaming, embodied AI, and robotics, where stable models are needed for reliable interaction. Additionally, stable models ensure that 3D-printed objects, such as figurines for home decoration, can stand on their own without requiring additional supports. To fill this gap, we introduce Atlas3D, an automatic and easy-to-implement method that enhances existing Score Distillation Sampling (SDS)-based text-to-3D tools. Atlas3D ensures the generation of self-supporting 3D models that adhere to physical laws of stability under gravity, contact, and friction. Our approach combines a novel differentiable simulation-based loss function with physically inspired regularization, serving as either a refinement or a post-processing module for existing frameworks. We verify Atlas3D's efficacy through extensive generation tasks and validate the resulting 3D models in both simulated and real-world environments.