PhysX : Génération d'actifs 3D fondée sur la physique

PhysX: Physical-Grounded 3D Asset Generation

July 16, 2025

papers.authors: Ziang Cao, Zhaoxi Chen, Linag Pan, Ziwei Liu

cs.AI

papers.abstract

La modélisation 3D évolue du virtuel au physique. Les méthodes actuelles de génération 3D se concentrent principalement sur les géométries et les textures, tout en négligeant la modélisation ancrée dans la physique. Par conséquent, malgré le développement rapide des modèles génératifs 3D, les actifs 3D synthétisés ignorent souvent des propriétés physiques riches et importantes, limitant leur application dans des domaines physiques tels que la simulation et l'IA incarnée. Pour relever ce défi, nous proposons PhysX, un paradigme de bout en bout pour la génération d'actifs 3D ancrés dans la physique. 1) Pour combler le manque critique de jeux de données 3D annotés physiquement, nous présentons PhysXNet - le premier jeu de données 3D ancré dans la physique, systématiquement annoté selon cinq dimensions fondamentales : l'échelle absolue, le matériau, l'affordance, la cinématique et la description fonctionnelle. Nous concevons notamment un pipeline d'annotation scalable basé sur des modèles vision-langage, permettant la création efficace d'actifs physiques à partir de données 3D brutes. 2) De plus, nous proposons PhysXGen, un framework feed-forward pour la génération d'actifs 3D à partir d'images, intégrant des connaissances physiques dans l'espace structurel 3D pré-entraîné. Concrètement, PhysXGen utilise une architecture à double branche pour modéliser explicitement les corrélations latentes entre les structures 3D et les propriétés physiques, produisant ainsi des actifs 3D avec des prédictions physiques plausibles tout en préservant la qualité géométrique native. Des expériences approfondies valident les performances supérieures et la capacité de généralisation prometteuse de notre framework. Tous les codes, données et modèles seront publiés pour faciliter les recherches futures en IA générative physique.

English

3D modeling is moving from virtual to physical. Existing 3D generation primarily emphasizes geometries and textures while neglecting physical-grounded modeling. Consequently, despite the rapid development of 3D generative models, the synthesized 3D assets often overlook rich and important physical properties, hampering their real-world application in physical domains like simulation and embodied AI. As an initial attempt to address this challenge, we propose PhysX, an end-to-end paradigm for physical-grounded 3D asset generation. 1) To bridge the critical gap in physics-annotated 3D datasets, we present PhysXNet - the first physics-grounded 3D dataset systematically annotated across five foundational dimensions: absolute scale, material, affordance, kinematics, and function description. In particular, we devise a scalable human-in-the-loop annotation pipeline based on vision-language models, which enables efficient creation of physics-first assets from raw 3D assets.2) Furthermore, we propose PhysXGen, a feed-forward framework for physics-grounded image-to-3D asset generation, injecting physical knowledge into the pre-trained 3D structural space. Specifically, PhysXGen employs a dual-branch architecture to explicitly model the latent correlations between 3D structures and physical properties, thereby producing 3D assets with plausible physical predictions while preserving the native geometry quality. Extensive experiments validate the superior performance and promising generalization capability of our framework. All the code, data, and models will be released to facilitate future research in generative physical AI.