Atlas3D : Génération de modèles 3D auto-porteurs à partir de texte avec contraintes physiques pour la simulation et la fabrication

Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication

May 28, 2024

Auteurs: Yunuo Chen, Tianyi Xie, Zeshun Zong, Xuan Li, Feng Gao, Yin Yang, Ying Nian Wu, Chenfanfu Jiang

cs.AI

Résumé

Les méthodes existantes de génération de texte-à-3D basées sur la diffusion se concentrent principalement sur la production de formes et d'apparences visuellement réalistes, négligeant souvent les contraintes physiques nécessaires pour les tâches en aval. Les modèles générés échouent fréquemment à maintenir leur équilibre lorsqu'ils sont placés dans des simulations physiques ou imprimés en 3D. Cet équilibre est crucial pour satisfaire les intentions de conception des utilisateurs dans les jeux interactifs, l'IA incarnée et la robotique, où des modèles stables sont nécessaires pour des interactions fiables. De plus, les modèles stables garantissent que les objets imprimés en 3D, tels que les figurines pour la décoration intérieure, peuvent tenir debout seuls sans nécessiter de supports supplémentaires. Pour combler cette lacune, nous introduisons Atlas3D, une méthode automatique et facile à mettre en œuvre qui améliore les outils existants de texte-à-3D basés sur le Score Distillation Sampling (SDS). Atlas3D assure la génération de modèles 3D auto-porteurs qui respectent les lois physiques de stabilité sous l'effet de la gravité, du contact et de la friction. Notre approche combine une nouvelle fonction de perte basée sur une simulation différentiable avec une régularisation inspirée par la physique, servant soit de module de raffinement, soit de post-traitement pour les frameworks existants. Nous vérifions l'efficacité d'Atlas3D à travers des tâches de génération étendues et validons les modèles 3D résultants dans des environnements simulés et réels.

English

Existing diffusion-based text-to-3D generation methods primarily focus on producing visually realistic shapes and appearances, often neglecting the physical constraints necessary for downstream tasks. Generated models frequently fail to maintain balance when placed in physics-based simulations or 3D printed. This balance is crucial for satisfying user design intentions in interactive gaming, embodied AI, and robotics, where stable models are needed for reliable interaction. Additionally, stable models ensure that 3D-printed objects, such as figurines for home decoration, can stand on their own without requiring additional supports. To fill this gap, we introduce Atlas3D, an automatic and easy-to-implement method that enhances existing Score Distillation Sampling (SDS)-based text-to-3D tools. Atlas3D ensures the generation of self-supporting 3D models that adhere to physical laws of stability under gravity, contact, and friction. Our approach combines a novel differentiable simulation-based loss function with physically inspired regularization, serving as either a refinement or a post-processing module for existing frameworks. We verify Atlas3D's efficacy through extensive generation tasks and validate the resulting 3D models in both simulated and real-world environments.