Atlas3D: Generación de Texto a 3D Autosoportado con Restricciones Físicas para Simulación y Fabricación

Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication

May 28, 2024

Autores: Yunuo Chen, Tianyi Xie, Zeshun Zong, Xuan Li, Feng Gao, Yin Yang, Ying Nian Wu, Chenfanfu Jiang

cs.AI

Resumen

Los métodos existentes de generación de texto a 3D basados en difusión se centran principalmente en producir formas y apariencias visualmente realistas, a menudo descuidando las restricciones físicas necesarias para tareas posteriores. Los modelos generados frecuentemente no mantienen el equilibrio cuando se colocan en simulaciones basadas en física o se imprimen en 3D. Este equilibrio es crucial para satisfacer las intenciones de diseño del usuario en juegos interactivos, IA encarnada y robótica, donde se necesitan modelos estables para una interacción confiable. Además, los modelos estables garantizan que los objetos impresos en 3D, como figuras para decoración del hogar, puedan mantenerse en pie por sí mismos sin requerir soportes adicionales. Para llenar este vacío, presentamos Atlas3D, un método automático y fácil de implementar que mejora las herramientas existentes de texto a 3D basadas en Score Distillation Sampling (SDS). Atlas3D asegura la generación de modelos 3D autosoportados que se adhieren a las leyes físicas de estabilidad bajo gravedad, contacto y fricción. Nuestro enfoque combina una novedosa función de pérdida basada en simulación diferenciable con regularización inspirada en la física, sirviendo como un módulo de refinamiento o post-procesamiento para marcos existentes. Verificamos la eficacia de Atlas3D a través de extensas tareas de generación y validamos los modelos 3D resultantes tanto en entornos simulados como en el mundo real.

English

Existing diffusion-based text-to-3D generation methods primarily focus on producing visually realistic shapes and appearances, often neglecting the physical constraints necessary for downstream tasks. Generated models frequently fail to maintain balance when placed in physics-based simulations or 3D printed. This balance is crucial for satisfying user design intentions in interactive gaming, embodied AI, and robotics, where stable models are needed for reliable interaction. Additionally, stable models ensure that 3D-printed objects, such as figurines for home decoration, can stand on their own without requiring additional supports. To fill this gap, we introduce Atlas3D, an automatic and easy-to-implement method that enhances existing Score Distillation Sampling (SDS)-based text-to-3D tools. Atlas3D ensures the generation of self-supporting 3D models that adhere to physical laws of stability under gravity, contact, and friction. Our approach combines a novel differentiable simulation-based loss function with physically inspired regularization, serving as either a refinement or a post-processing module for existing frameworks. We verify Atlas3D's efficacy through extensive generation tasks and validate the resulting 3D models in both simulated and real-world environments.