PhysX-Omni: Geünificeerde simulatieklare fysieke 3D-generatie voor starre, vervormbare en gelede objecten

Samenvatting

Simulatieklare fysieke 3D-assets zijn een veelbelovende richting gebleken vanwege hun brede toepasbaarheid in downstream-taken. De meeste bestaande 3D-generatiemethoden negeren echter fysische eigenschappen of zijn beperkt tot één enkele assetcategorie, zoals starre, vervormbare of gelede objecten. Om deze beperkingen aan te pakken, introduceren we PhysX-Omni, een uniform raamwerk voor simulatieklare fysieke 3D-generatie over diverse assettypen. Specifiek ontwikkelen we een nieuwe en efficiënte geometrierepresentatie die is afgestemd op Vision-Taalmodellen, welke direct hoge-resolutie 3D-structuren codeert zonder compressie, waardoor de generatieprestaties aanzienlijk verbeteren. Daarnaast construeren we de eerste algemene simulatieklare 3D-dataset, PhysXVerse, die diverse binnen- en buitenhuis categorieën dekt. Verder stellen we PhysX-Bench voor om zowel generatieve als begripscapaciteiten in het wild uitgebreid en flexibel te evalueren, die zes belangrijke kenmerken omvat: geometrie, absolute schaal, materiaal, affordance, kinematica en functiebeschrijving. Uitgebreide experimenten met conventionele metrieken en PhysX-Bench tonen aan dat PhysX-Omni sterk presteert in zowel generatie als begrip. Bovendien bevestigen aanvullende studies het potentieel van PhysX-Omni voor toepassingen in simulatieklare scènegeneratie en robotbeleidsleren. Wij geloven dat PhysX-Omni een breed scala aan downstream-toepassingen aanzienlijk kan bevorderen, met name in belichaamde AI en fysica-gebaseerde simulatie.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.