PhysX-Omni: Einheitliche simulationsbereite physische 3D-Generierung für starre, verformbare und artikulierte Objekte

Zusammenfassung

Simulationsbereite physische 3D-Assets haben sich aufgrund ihrer breiten Anwendbarkeit in nachgelagerten Aufgaben als vielversprechende Richtung erwiesen. Die meisten bestehenden 3D-Generierungsmethoden vernachlässigen jedoch entweder physikalische Eigenschaften oder sind auf eine einzelne Asset-Kategorie beschränkt, z. B. starre, verformbare oder gelenkige Objekte. Um diese Einschränkungen zu adressieren, führen wir PhysX-Omni ein, ein einheitliches Framework für die simulationsbereite physische 3D-Generierung über verschiedene Asset-Typen hinweg. Konkret entwickeln wir eine neuartige und effiziente Geometrierepräsentation, die speziell auf Sprach-Bild-Modelle zugeschnitten ist und hochauflösende 3D-Strukturen ohne Komprimierung direkt kodiert, wodurch die Generierungsleistung erheblich verbessert wird. Darüber hinaus erstellen wir den ersten allgemeinen simulationsbereiten 3D-Datensatz, PhysXVerse, der verschiedene Innen- und Außenkategorien abdeckt. Um sowohl generative als auch verständnisbasierte Fähigkeiten in freier Wildbahn umfassend und flexibel zu evaluieren, schlagen wir PhysX-Bench vor, das sechs zentrale Attribute umfasst: Geometrie, absolute Skalierung, Material, Affordanz, Kinematik und Funktionsbeschreibung. Umfangreiche Experimente mit konventionellen Metriken und PhysX-Bench zeigen, dass PhysX-Omni sowohl bei der Generierung als auch beim Verständnis starke Leistungen erbringt. Darüber hinaus bestätigen zusätzliche Studien das Potenzial von PhysX-Omni für Anwendungen in der simulationsbereiten Szenengenerierung und im robotischen Policylernen. Wir glauben, dass PhysX-Omni ein breites Spektrum nachgelagerter Anwendungen erheblich voranbringen kann, insbesondere in der verkörperten KI und der physikbasierten Simulation.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.