PhysX-Omni: 剛体、変形可能物体、関節付き物体のための統合型シミュレーション対応物理3D生成

要旨

シミュレーション対応の物理3Dアセットは、下流タスクにおける幅広い応用可能性から有望な方向性として注目されている。しかし、既存の3D生成手法のほとんどは物理特性を無視しているか、剛体、変形可能物体、関節物体といった単一のアセットカテゴリに限定されている。これらの制約に対処するため、我々は多様なアセットタイプにわたるシミュレーション対応の物理3D生成のための統一フレームワークであるPhysX-Omniを提案する。具体的には、Vision-Language Model向けに新規かつ効率的な形状表現を開発し、圧縮なしで高解像度の3D構造を直接エンコードすることで、生成性能を大幅に向上させる。さらに、多様な屋内・屋外カテゴリを網羅する、初の汎用シミュレーション対応3DデータセットPhysXVerseを構築する。加えて、実環境における生成能力と理解能力の両方を包括的かつ柔軟に評価するために、形状、絶対スケール、素材、アフォーダンス、キネマティクス、機能記述の6つの主要属性を含むPhysX-Benchを提案する。従来の指標とPhysX-Benchを用いた広範な実験により、PhysX-Omniが生成と理解の両方で優れた性能を示すことが実証された。さらに、追加研究により、シミュレーション対応シーン生成やロボットポリシー学習への応用におけるPhysX-Omniの可能性が確認された。我々は、PhysX-Omniが、特に具現化AIや物理ベースシミュレーションにおいて、幅広い下流アプリケーションを大きく前進させると確信している。

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.