MetaSpatial: 메타버스를 위한 VLMs의 3D 공간 추론 강화

MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

March 24, 2025

저자: Zhenyu Pan, Han Liu

cs.AI

초록

우리는 3D 공간 추론 능력을 강화하기 위해 설계된 최초의 강화 학습(RL) 기반 프레임워크인 MetaSpatial을 소개한다. 이 프레임워크는 하드코딩된 최적화 없이도 실시간 3D 장면 생성을 가능하게 하며, 비전-언어 모델(VLMs)의 두 가지 핵심 문제를 해결한다: (i) VLMs의 내재화된 3D 공간 추론 부재로 인해 현실적인 레이아웃 생성이 제한되는 문제, 그리고 (ii) 완벽한 지상 진실(ground truth) 주석이 없어 전통적인 지도 미세 조정(SFT)이 레이아웃 생성 작업에 비효율적인 문제. MetaSpatial의 핵심 혁신은 물리학적 제약 조건과 렌더링된 이미지 평가를 통합한 다중 턴 RL 기반 최적화 메커니즘으로, 생성된 3D 레이아웃이 일관성 있고 물리적으로 타당하며 미적으로 일관되도록 보장한다. 방법론적으로, MetaSpatial은 적응적이고 반복적인 추론 프로세스를 도입하여, VLM이 렌더링된 출력을 분석함으로써 여러 턴에 걸쳐 공간 배열을 개선하고 장면의 일관성을 점진적으로 향상시킨다. 실험적 평가를 통해 MetaSpatial이 다양한 규모의 모델에서 공간 일관성과 형식 안정성을 크게 향상시킴을 입증했다. 학습 후, 객체 배치는 더 현실적이고 정렬되며 기능적으로 일관성이 있어, 메타버스, AR/VR, 디지털 트윈 및 게임 개발 애플리케이션에서 3D 공간 추론을 위한 RL의 효과를 검증한다. 우리의 코드, 데이터 및 학습 파이프라인은 https://github.com/PzySeere/MetaSpatial에서 공개적으로 이용 가능하다.

English

We present MetaSpatial, the first reinforcement learning (RL)-based framework designed to enhance 3D spatial reasoning in vision-language models (VLMs), enabling real-time 3D scene generation without the need for hard-coded optimizations. MetaSpatial addresses two core challenges: (i) the lack of internalized 3D spatial reasoning in VLMs, which limits their ability to generate realistic layouts, and (ii) the inefficiency of traditional supervised fine-tuning (SFT) for layout generation tasks, as perfect ground truth annotations are unavailable. Our key innovation is a multi-turn RL-based optimization mechanism that integrates physics-aware constraints and rendered image evaluations, ensuring generated 3D layouts are coherent, physically plausible, and aesthetically consistent. Methodologically, MetaSpatial introduces an adaptive, iterative reasoning process, where the VLM refines spatial arrangements over multiple turns by analyzing rendered outputs, improving scene coherence progressively. Empirical evaluations demonstrate that MetaSpatial significantly enhances the spatial consistency and formatting stability of various scale models. Post-training, object placements are more realistic, aligned, and functionally coherent, validating the effectiveness of RL for 3D spatial reasoning in metaverse, AR/VR, digital twins, and game development applications. Our code, data, and training pipeline are publicly available at https://github.com/PzySeere/MetaSpatial.