PhysX-Omni: Geração 3D Física Unificada Pronta para Simulação de Objetos Rígidos, Deformáveis e Articulados

Resumo

Ativos físicos 3D prontos para simulação emergiram como uma direção promissora devido à sua ampla aplicabilidade em tarefas downstream. No entanto, a maioria dos métodos existentes de geração 3D ou negligencia propriedades físicas ou é limitada a uma única categoria de ativos, como objetos rígidos, deformáveis ou articulados. Para superar essas limitações, apresentamos o PhysX-Omni, uma estrutura unificada para geração física 3D pronta para simulação em diversos tipos de ativos. Especificamente, desenvolvemos uma representação geométrica nova e eficiente, adaptada para Modelos de Visão e Linguagem, que codifica diretamente estruturas 3D de alta resolução sem compressão, melhorando significativamente o desempenho da geração. Além disso, construímos o primeiro conjunto de dados 3D geral e pronto para simulação, o PhysXVerse, abrangendo diversas categorias internas e externas. Ademais, para avaliar de forma abrangente e flexível as capacidades generativas e de compreensão em cenários reais, propomos o PhysX-Bench, que engloba seis atributos-chave: geometria, escala absoluta, material, affordance, cinemática e descrição de função. Experimentos extensivos com métricas convencionais e o PhysX-Bench mostram que o PhysX-Omni apresenta forte desempenho tanto na geração quanto na compreensão. Além disso, estudos adicionais validam o potencial do PhysX-Omni para aplicações em geração de cenas prontas para simulação e aprendizado de políticas robóticas. Acreditamos que o PhysX-Omni pode avançar significativamente uma ampla gama de aplicações downstream, particularmente em IA corporificada e simulação baseada em física.

English

Simulation-ready physical 3D assets have emerged as a promising direction owing to their broad applicability in downstream tasks. However, most existing 3D generation methods either neglect physical properties or are limited to a single asset category, e.g., rigid, deformable, or articulated objects. To address these limitations, we introduce PhysX-Omni, a unified framework for simulation-ready physical 3D generation across diverse asset types. Specifically, we develop a novel and efficient geometry representation tailored for Vision-Language Models, which directly encodes high-resolution 3D structures without compression, significantly improving generation performance. In addition, we construct the first general simulation-ready 3D dataset, PhysXVerse, covering diverse indoor and outdoor categories. Furthermore, to comprehensively and flexibly evaluate both generative and understanding capabilities in the wild, we propose PhysX-Bench, which encompasses six key attributes: geometry, absolute scale, material, affordance, kinematics, and function description. Extensive experiments with conventional metrics and PhysX-Bench show that PhysX-Omni performs strongly in both generation and understanding. Moreover, additional studies further validate the potential of PhysX-Omni for applications in simulation-ready scene generation and robotic policy learning. We believe PhysX-Omni can significantly advance a wide range of downstream applications, particularly in embodied AI and physics-based simulation.