PhysX-Omni : Génération physique 3D unifiée prête pour la simulation d'objets rigides, déformables et articulés

Résumé

Les actifs physiques 3D prêts pour la simulation sont devenus une direction prometteuse en raison de leur large applicabilité dans les tâches en aval. Cependant, la plupart des méthodes existantes de génération 3D ignorent les propriétés physiques ou se limitent à une seule catégorie d'actifs, par exemple les objets rigides, déformables ou articulés. Pour remédier à ces limitations, nous introduisons PhysX-Omni, un cadre unifié pour la génération physique 3D prête pour la simulation couvrant divers types d'actifs. Plus précisément, nous développons une représentation géométrique nouvelle et efficace adaptée aux Modèles Vision-Langage, qui encode directement des structures 3D à haute résolution sans compression, améliorant significativement les performances de génération. De plus, nous construisons le premier ensemble de données 3D général prêt pour la simulation, PhysXVerse, couvrant diverses catégories intérieures et extérieures. En outre, pour évaluer de manière complète et flexible les capacités de génération et de compréhension en conditions réelles, nous proposons PhysX-Bench, qui englobe six attributs clés : la géométrie, l'échelle absolue, le matériau, l'affordance, la cinématique et la description fonctionnelle. Des expériences approfondies avec des métriques conventionnelles et PhysX-Bench montrent que PhysX-Omni obtient de bonnes performances tant en génération qu'en compréhension. De plus, des études supplémentaires valident le potentiel de PhysX-Omni pour des applications telles que la génération de scènes prêtes pour la simulation et l'apprentissage de politiques robotiques. Nous pensons que PhysX-Omni peut considérablement faire progresser un large éventail d'applications en aval, en particulier dans l'IA incarnée et la simulation basée sur la physique.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.