Atlas3D: Geração de Texto para 3D Fisicamente Restrita e Autossustentável para Simulação e Fabricação

Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication

May 28, 2024

Autores: Yunuo Chen, Tianyi Xie, Zeshun Zong, Xuan Li, Feng Gao, Yin Yang, Ying Nian Wu, Chenfanfu Jiang

cs.AI

Resumo

Os métodos existentes de geração de texto para 3D baseados em difusão concentram-se principalmente na produção de formas e aparências visualmente realistas, muitas vezes negligenciando as restrições físicas necessárias para tarefas subsequentes. Os modelos gerados frequentemente falham em manter o equilíbrio quando colocados em simulações baseadas em física ou impressos em 3D. Esse equilíbrio é crucial para satisfazer as intenções de design do usuário em jogos interativos, IA incorporada e robótica, onde modelos estáveis são necessários para interações confiáveis. Além disso, modelos estáveis garantem que objetos impressos em 3D, como estatuetas para decoração doméstica, possam ficar em pé por conta própria, sem a necessidade de suportes adicionais. Para preencher essa lacuna, apresentamos o Atlas3D, um método automático e de fácil implementação que aprimora as ferramentas existentes de texto para 3D baseadas em Amostragem de Destilação de Pontuação (SDS). O Atlas3D garante a geração de modelos 3D autossustentáveis que aderem às leis físicas de estabilidade sob gravidade, contato e atrito. Nossa abordagem combina uma nova função de perda baseada em simulação diferenciável com regularização inspirada na física, servindo como um módulo de refinamento ou pós-processamento para frameworks existentes. Verificamos a eficácia do Atlas3D por meio de extensas tarefas de geração e validamos os modelos 3D resultantes em ambientes simulados e no mundo real.

English

Existing diffusion-based text-to-3D generation methods primarily focus on producing visually realistic shapes and appearances, often neglecting the physical constraints necessary for downstream tasks. Generated models frequently fail to maintain balance when placed in physics-based simulations or 3D printed. This balance is crucial for satisfying user design intentions in interactive gaming, embodied AI, and robotics, where stable models are needed for reliable interaction. Additionally, stable models ensure that 3D-printed objects, such as figurines for home decoration, can stand on their own without requiring additional supports. To fill this gap, we introduce Atlas3D, an automatic and easy-to-implement method that enhances existing Score Distillation Sampling (SDS)-based text-to-3D tools. Atlas3D ensures the generation of self-supporting 3D models that adhere to physical laws of stability under gravity, contact, and friction. Our approach combines a novel differentiable simulation-based loss function with physically inspired regularization, serving as either a refinement or a post-processing module for existing frameworks. We verify Atlas3D's efficacy through extensive generation tasks and validate the resulting 3D models in both simulated and real-world environments.