PhysX-Omni: 강체, 변형체 및 관절체를 위한 통합 시뮬레이션 가능 물리적 3D 생성

초록

시뮬레이션에 바로 활용 가능한 물리적 3D 자산은 다운스트림 작업에서의 폭넓은 적용 가능성으로 인해 유망한 방향으로 주목받고 있다. 그러나 기존 대부분의 3D 생성 방법은 물리적 속성을 무시하거나 강체, 변형체, 관절체 등 단일 자산 범주로 제한된다. 이러한 한계를 해결하기 위해 우리는 다양한 자산 유형에 걸쳐 시뮬레이션에 바로 활용 가능한 물리적 3D 생성을 위한 통합 프레임워크인 PhysX-Omni를 소개한다. 구체적으로, 우리는 Vision-Language Model에 특화된 새롭고 효율적인 형상 표현을 개발하여 고해상도 3D 구조를 압축 없이 직접 인코딩함으로써 생성 성능을 크게 향상시킨다. 또한, 실내외 다양한 범주를 포함하는 최초의 범용 시뮬레이션 준비 3D 데이터셋인 PhysXVerse를 구축한다. 더 나아가, 실제 환경에서의 생성 및 이해 능력을 포괄적이고 유연하게 평가하기 위해 형상, 절대 스케일, 재질, 어포던스, 운동학, 기능 설명의 여섯 가지 핵심 속성을 포함하는 PhysX-Bench를 제안한다. 기존 지표와 PhysX-Bench를 사용한 광범위한 실험 결과, PhysX-Omni는 생성 및 이해 모두에서 강력한 성능을 보여준다. 또한 추가 연구를 통해 시뮬레이션 준비 장면 생성 및 로봇 정책 학습 응용 분야에서 PhysX-Omni의 잠재력을 추가로 검증한다. 우리는 PhysX-Omni가 특히 체화된 AI 및 물리 기반 시뮬레이션 분야에서 다양한 다운스트림 응용을 크게 발전시킬 수 있을 것으로 기대한다.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.