PhysX: Geração de Ativos 3D Baseados em Física

PhysX: Physical-Grounded 3D Asset Generation

July 16, 2025

Autores: Ziang Cao, Zhaoxi Chen, Linag Pan, Ziwei Liu

cs.AI

Resumo

A modelagem 3D está evoluindo do virtual para o físico. A geração 3D existente enfatiza principalmente geometrias e texturas, enquanto negligencia a modelagem fundamentada em física. Consequentemente, apesar do rápido desenvolvimento de modelos generativos 3D, os ativos 3D sintetizados frequentemente ignoram propriedades físicas ricas e importantes, prejudicando sua aplicação no mundo real em domínios físicos como simulação e IA incorporada. Como uma tentativa inicial de abordar esse desafio, propomos o PhysX, um paradigma de ponta a ponta para a geração de ativos 3D fundamentados em física. 1) Para preencher a lacuna crítica em conjuntos de dados 3D anotados com física, apresentamos o PhysXNet - o primeiro conjunto de dados 3D fundamentado em física, sistematicamente anotado em cinco dimensões fundamentais: escala absoluta, material, affordance, cinemática e descrição funcional. Em particular, desenvolvemos um pipeline escalável de anotação com humanos no loop baseado em modelos de visão e linguagem, que permite a criação eficiente de ativos com prioridade física a partir de ativos 3D brutos. 2) Além disso, propomos o PhysXGen, um framework feed-forward para a geração de ativos 3D fundamentados em física a partir de imagens, injetando conhecimento físico no espaço estrutural 3D pré-treinado. Especificamente, o PhysXGen emprega uma arquitetura de duplo ramo para modelar explicitamente as correlações latentes entre estruturas 3D e propriedades físicas, produzindo assim ativos 3D com previsões físicas plausíveis enquanto preserva a qualidade geométrica nativa. Experimentos extensivos validam o desempenho superior e a promissora capacidade de generalização do nosso framework. Todo o código, dados e modelos serão liberados para facilitar pesquisas futuras em IA generativa física.

English

3D modeling is moving from virtual to physical. Existing 3D generation primarily emphasizes geometries and textures while neglecting physical-grounded modeling. Consequently, despite the rapid development of 3D generative models, the synthesized 3D assets often overlook rich and important physical properties, hampering their real-world application in physical domains like simulation and embodied AI. As an initial attempt to address this challenge, we propose PhysX, an end-to-end paradigm for physical-grounded 3D asset generation. 1) To bridge the critical gap in physics-annotated 3D datasets, we present PhysXNet - the first physics-grounded 3D dataset systematically annotated across five foundational dimensions: absolute scale, material, affordance, kinematics, and function description. In particular, we devise a scalable human-in-the-loop annotation pipeline based on vision-language models, which enables efficient creation of physics-first assets from raw 3D assets.2) Furthermore, we propose PhysXGen, a feed-forward framework for physics-grounded image-to-3D asset generation, injecting physical knowledge into the pre-trained 3D structural space. Specifically, PhysXGen employs a dual-branch architecture to explicitly model the latent correlations between 3D structures and physical properties, thereby producing 3D assets with plausible physical predictions while preserving the native geometry quality. Extensive experiments validate the superior performance and promising generalization capability of our framework. All the code, data, and models will be released to facilitate future research in generative physical AI.