PhysX: Fysiek-gebaseerde 3D-assetgeneratie

PhysX: Physical-Grounded 3D Asset Generation

July 16, 2025

Auteurs: Ziang Cao, Zhaoxi Chen, Linag Pan, Ziwei Liu

cs.AI

Samenvatting

3D-modellering maakt de overgang van virtueel naar fysiek. Bestaande 3D-generatie legt vooral de nadruk op geometrieën en texturen, terwijl fysiek-gebaseerde modellering wordt verwaarloosd. Als gevolg hiervan negeren de gesynthetiseerde 3D-assets, ondanks de snelle ontwikkeling van 3D-generatieve modellen, vaak rijke en belangrijke fysieke eigenschappen, wat hun toepassing in de echte wereld in fysieke domeinen zoals simulatie en embodied AI belemmert. Als een eerste poging om deze uitdaging aan te pakken, stellen we PhysX voor, een end-to-end paradigma voor fysiek-gebaseerde 3D-assetgeneratie. 1) Om de kritieke kloof in fysica-geannoteerde 3D-datasets te overbruggen, presenteren we PhysXNet - de eerste fysiek-gebaseerde 3D-dataset die systematisch is geannoteerd over vijf fundamentele dimensies: absolute schaal, materiaal, affordantie, kinematica en functiebeschrijving. In het bijzonder ontwikkelen we een schaalbare human-in-the-loop annotatiepipeline gebaseerd op vision-language modellen, die efficiënte creatie van fysica-eerste assets mogelijk maakt vanuit ruwe 3D-assets. 2) Verder stellen we PhysXGen voor, een feed-forward framework voor fysiek-gebaseerde image-to-3D-assetgeneratie, dat fysieke kennis injecteert in de vooraf getrainde 3D-structurele ruimte. Specifiek maakt PhysXGen gebruik van een dual-branch architectuur om de latente correlaties tussen 3D-structuren en fysieke eigenschappen expliciet te modelleren, waardoor 3D-assets worden geproduceerd met plausibele fysieke voorspellingen terwijl de oorspronkelijke geometriekwaliteit behouden blijft. Uitgebreide experimenten valideren de superieure prestaties en veelbelovende generalisatiecapaciteit van ons framework. Alle code, data en modellen zullen worden vrijgegeven om toekomstig onderzoek in generatieve fysieke AI te faciliteren.

English

3D modeling is moving from virtual to physical. Existing 3D generation primarily emphasizes geometries and textures while neglecting physical-grounded modeling. Consequently, despite the rapid development of 3D generative models, the synthesized 3D assets often overlook rich and important physical properties, hampering their real-world application in physical domains like simulation and embodied AI. As an initial attempt to address this challenge, we propose PhysX, an end-to-end paradigm for physical-grounded 3D asset generation. 1) To bridge the critical gap in physics-annotated 3D datasets, we present PhysXNet - the first physics-grounded 3D dataset systematically annotated across five foundational dimensions: absolute scale, material, affordance, kinematics, and function description. In particular, we devise a scalable human-in-the-loop annotation pipeline based on vision-language models, which enables efficient creation of physics-first assets from raw 3D assets.2) Furthermore, we propose PhysXGen, a feed-forward framework for physics-grounded image-to-3D asset generation, injecting physical knowledge into the pre-trained 3D structural space. Specifically, PhysXGen employs a dual-branch architecture to explicitly model the latent correlations between 3D structures and physical properties, thereby producing 3D assets with plausible physical predictions while preserving the native geometry quality. Extensive experiments validate the superior performance and promising generalization capability of our framework. All the code, data, and models will be released to facilitate future research in generative physical AI.