PhysX: Генерация 3D-ассетов на основе физических принципов

PhysX: Physical-Grounded 3D Asset Generation

July 16, 2025

Авторы: Ziang Cao, Zhaoxi Chen, Linag Pan, Ziwei Liu

cs.AI

Аннотация

3D-моделирование переходит от виртуального к физическому. Существующие методы генерации 3D-моделей в основном сосредоточены на геометрии и текстурах, игнорируя физически обоснованное моделирование. В результате, несмотря на быстрое развитие генеративных моделей 3D, синтезированные 3D-активы часто упускают из виду богатые и важные физические свойства, что затрудняет их применение в реальных физических областях, таких как симуляции и воплощённый ИИ. В качестве первоначальной попытки решить эту проблему мы предлагаем PhysX — сквозной подход для генерации физически обоснованных 3D-активов. 1) Чтобы устранить критический пробел в наборах данных 3D с физической аннотацией, мы представляем PhysXNet — первый физически обоснованный набор данных 3D, систематически аннотированный по пяти основным измерениям: абсолютный масштаб, материал, аффордансы, кинематика и описание функций. В частности, мы разработали масштабируемый конвейер аннотирования с участием человека, основанный на моделях "визуальный язык", который позволяет эффективно создавать активы с приоритетом физики из исходных 3D-активов. 2) Кроме того, мы предлагаем PhysXGen — прямой фреймворк для генерации физически обоснованных 3D-активов из изображений, внедряющий физические знания в предварительно обученное пространство 3D-структур. В частности, PhysXGen использует двухветвевую архитектуру для явного моделирования скрытых корреляций между 3D-структурами и физическими свойствами, что позволяет создавать 3D-активы с правдоподобными физическими предсказаниями, сохраняя при этом исходное качество геометрии. Многочисленные эксперименты подтверждают превосходную производительность и перспективные возможности обобщения нашего фреймворка. Весь код, данные и модели будут опубликованы для содействия будущим исследованиям в области генеративного физического ИИ.

English

3D modeling is moving from virtual to physical. Existing 3D generation primarily emphasizes geometries and textures while neglecting physical-grounded modeling. Consequently, despite the rapid development of 3D generative models, the synthesized 3D assets often overlook rich and important physical properties, hampering their real-world application in physical domains like simulation and embodied AI. As an initial attempt to address this challenge, we propose PhysX, an end-to-end paradigm for physical-grounded 3D asset generation. 1) To bridge the critical gap in physics-annotated 3D datasets, we present PhysXNet - the first physics-grounded 3D dataset systematically annotated across five foundational dimensions: absolute scale, material, affordance, kinematics, and function description. In particular, we devise a scalable human-in-the-loop annotation pipeline based on vision-language models, which enables efficient creation of physics-first assets from raw 3D assets.2) Furthermore, we propose PhysXGen, a feed-forward framework for physics-grounded image-to-3D asset generation, injecting physical knowledge into the pre-trained 3D structural space. Specifically, PhysXGen employs a dual-branch architecture to explicitly model the latent correlations between 3D structures and physical properties, thereby producing 3D assets with plausible physical predictions while preserving the native geometry quality. Extensive experiments validate the superior performance and promising generalization capability of our framework. All the code, data, and models will be released to facilitate future research in generative physical AI.