PhysForge: 상호작용 가능한 가상 세계를 위한 물리 기반 3D 에셋 생성

초록

물리 법칙이 적용된 3D 자산 합성은 상호작용 가능한 가상 세계와 구현형 AI의 핵심적인 병목 현상입니다. 기존 방법론은 주로 정적 기하학에 집중하여 상호작용에 필수적인 기능적 속성을 간과해왔습니다. 우리는 상호작용 가능한 자산 생성이 기능적 논리와 계층적 물리학에 기반해야 한다고 제안합니다. 이러한 격차를 해소하기 위해, 4단계 물리 주석이 달린 15만 개의 자산으로 구성된 대규모 데이터셋인 PhysDB로 지원되는 분리형 2단계 프레임워크인 PhysForge를 소개합니다. 첫째, VLM이 '물리 설계사' 역할을 수행하여 재질, 기능, 운동학적 제약을 정의하는 '계층적 물리 청사진'을 계획합니다. 둘째, 물리 기반 확산 모델이 새로운 KineVoxel Injection(KVI) 메커니즘을 통해 정밀한 운동학적 매개변수와 함께 고품질 기하학을 합성하여 이 청사진을 구현합니다. 실험 결과, PhysForge는 시뮬레이션에 바로 사용 가능한 기능적으로 타당한 자산을 생성하여 상호작용형 3D 콘텐츠와 구현형 에이전트를 위한 강력한 데이터 엔진을 제공함을 입증합니다.

English

Synthesizing physics-grounded 3D assets is a critical bottleneck for interactive virtual worlds and embodied AI. Existing methods predominantly focus on static geometry, overlooking the functional properties essential for interaction. We propose that interactive asset generation must be rooted in functional logic and hierarchical physics. To bridge this gap, we introduce PhysForge, a decoupled two-stage framework supported by PhysDB, a large-scale dataset of 150,000 assets with four-tier physical annotations. First, a VLM acts as a "physical architect" to plan a "Hierarchical Physical Blueprint" defining material, functional, and kinematic constraints. Second, a physics-grounded diffusion model realizes this blueprint by synthesizing high-fidelity geometry alongside precise kinematic parameters via a novel KineVoxel Injection (KVI) mechanism. Experiments demonstrate that PhysForge produces functionally plausible, simulation-ready assets, providing a robust data engine for interactive 3D content and embodied agents.

PhysForge: 상호작용 가능한 가상 세계를 위한 물리 기반 3D 에셋 생성

PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World

초록

Support