PhysX-Omni: Generación 3D Física Unificada y Lista para Simulación de Objetos Rígidos, Deformables y Articulados

Resumen

Los activos físicos 3D listos para simulación han surgido como una dirección prometedora debido a su amplia aplicabilidad en tareas posteriores. Sin embargo, la mayoría de los métodos existentes de generación 3D pasan por alto las propiedades físicas o se limitan a una única categoría de activos, como objetos rígidos, deformables o articulados. Para abordar estas limitaciones, presentamos PhysX-Omni, un marco unificado para la generación física 3D lista para simulación en diversos tipos de activos. En concreto, desarrollamos una representación geométrica novedosa y eficiente adaptada a los Modelos de Visión y Lenguaje, que codifica directamente estructuras 3D de alta resolución sin compresión, mejorando significativamente el rendimiento de generación. Además, construimos el primer conjunto de datos 3D general listo para simulación, PhysXVerse, que cubre diversas categorías tanto de interiores como de exteriores. Asimismo, para evaluar de manera integral y flexible las capacidades generativas y de comprensión en entornos reales, proponemos PhysX-Bench, que abarca seis atributos clave: geometría, escala absoluta, material, affordance, cinemática y descripción de función. Experimentos exhaustivos con métricas convencionales y PhysX-Bench demuestran que PhysX-Omni tiene un rendimiento sólido tanto en generación como en comprensión. Además, estudios adicionales validan el potencial de PhysX-Omni para aplicaciones en generación de escenas listas para simulación y aprendizaje de políticas robóticas. Creemos que PhysX-Omni puede impulsar significativamente una amplia gama de aplicaciones posteriores, particularmente en IA corpórea y simulación basada en física.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.