PhysX: Generación de Activos 3D Basados en Física

PhysX: Physical-Grounded 3D Asset Generation

July 16, 2025

Autores: Ziang Cao, Zhaoxi Chen, Linag Pan, Ziwei Liu

cs.AI

Resumen

El modelado 3D está evolucionando de lo virtual a lo físico. La generación 3D existente se centra principalmente en geometrías y texturas, descuidando el modelado basado en principios físicos. Como resultado, a pesar del rápido desarrollo de los modelos generativos 3D, los activos 3D sintetizados a menudo pasan por alto propiedades físicas ricas e importantes, lo que dificulta su aplicación en el mundo real en dominios físicos como la simulación y la IA encarnada. Como un primer intento para abordar este desafío, proponemos PhysX, un paradigma integral para la generación de activos 3D basados en principios físicos. 1) Para cerrar la brecha crítica en los conjuntos de datos 3D anotados con propiedades físicas, presentamos PhysXNet, el primer conjunto de datos 3D basado en física, anotado sistemáticamente en cinco dimensiones fundamentales: escala absoluta, material, capacidad de interacción, cinemática y descripción funcional. En particular, diseñamos un flujo de trabajo escalable de anotación con intervención humana basado en modelos de visión y lenguaje, que permite la creación eficiente de activos con enfoque físico a partir de activos 3D en bruto. 2) Además, proponemos PhysXGen, un marco de trabajo de avance directo para la generación de activos 3D basados en física a partir de imágenes, inyectando conocimiento físico en el espacio estructural 3D preentrenado. Específicamente, PhysXGen emplea una arquitectura de doble rama para modelar explícitamente las correlaciones latentes entre las estructuras 3D y las propiedades físicas, produciendo así activos 3D con predicciones físicas plausibles mientras se preserva la calidad geométrica original. Experimentos exhaustivos validan el rendimiento superior y la prometedora capacidad de generalización de nuestro marco. Todo el código, datos y modelos se liberarán para facilitar futuras investigaciones en IA generativa basada en física.

English

3D modeling is moving from virtual to physical. Existing 3D generation primarily emphasizes geometries and textures while neglecting physical-grounded modeling. Consequently, despite the rapid development of 3D generative models, the synthesized 3D assets often overlook rich and important physical properties, hampering their real-world application in physical domains like simulation and embodied AI. As an initial attempt to address this challenge, we propose PhysX, an end-to-end paradigm for physical-grounded 3D asset generation. 1) To bridge the critical gap in physics-annotated 3D datasets, we present PhysXNet - the first physics-grounded 3D dataset systematically annotated across five foundational dimensions: absolute scale, material, affordance, kinematics, and function description. In particular, we devise a scalable human-in-the-loop annotation pipeline based on vision-language models, which enables efficient creation of physics-first assets from raw 3D assets.2) Furthermore, we propose PhysXGen, a feed-forward framework for physics-grounded image-to-3D asset generation, injecting physical knowledge into the pre-trained 3D structural space. Specifically, PhysXGen employs a dual-branch architecture to explicitly model the latent correlations between 3D structures and physical properties, thereby producing 3D assets with plausible physical predictions while preserving the native geometry quality. Extensive experiments validate the superior performance and promising generalization capability of our framework. All the code, data, and models will be released to facilitate future research in generative physical AI.