MetaSpatial : Renforcement du raisonnement spatial 3D dans les VLMs pour le métavers

MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

March 24, 2025

Auteurs: Zhenyu Pan, Han Liu

cs.AI

Résumé

Nous présentons MetaSpatial, le premier cadre basé sur l'apprentissage par renforcement (RL) conçu pour améliorer le raisonnement spatial 3D dans les modèles vision-langage (VLMs), permettant la génération de scènes 3D en temps réel sans nécessiter d'optimisations prédéfinies. MetaSpatial aborde deux défis majeurs : (i) l'absence de raisonnement spatial 3D internalisé dans les VLMs, qui limite leur capacité à générer des agencements réalistes, et (ii) l'inefficacité de l'affinage supervisé traditionnel (SFT) pour les tâches de génération de layouts, car les annotations de vérité terrain parfaites sont indisponibles. Notre innovation clé est un mécanisme d'optimisation multi-tours basé sur le RL, intégrant des contraintes physiques et des évaluations d'images rendues, garantissant que les layouts 3D générés sont cohérents, physiquement plausibles et esthétiquement harmonieux. Méthodologiquement, MetaSpatial introduit un processus de raisonnement itératif et adaptatif, où le VLM affine les arrangements spatiaux sur plusieurs tours en analysant les sorties rendues, améliorant progressivement la cohérence des scènes. Les évaluations empiriques démontrent que MetaSpatial améliore significativement la cohérence spatiale et la stabilité de formatage de divers modèles à différentes échelles. Après l'entraînement, les placements d'objets sont plus réalistes, alignés et fonctionnellement cohérents, validant l'efficacité du RL pour le raisonnement spatial 3D dans des applications telles que le métavers, la RA/RV, les jumeaux numériques et le développement de jeux. Notre code, données et pipeline d'entraînement sont disponibles publiquement à l'adresse https://github.com/PzySeere/MetaSpatial.

English

We present MetaSpatial, the first reinforcement learning (RL)-based framework designed to enhance 3D spatial reasoning in vision-language models (VLMs), enabling real-time 3D scene generation without the need for hard-coded optimizations. MetaSpatial addresses two core challenges: (i) the lack of internalized 3D spatial reasoning in VLMs, which limits their ability to generate realistic layouts, and (ii) the inefficiency of traditional supervised fine-tuning (SFT) for layout generation tasks, as perfect ground truth annotations are unavailable. Our key innovation is a multi-turn RL-based optimization mechanism that integrates physics-aware constraints and rendered image evaluations, ensuring generated 3D layouts are coherent, physically plausible, and aesthetically consistent. Methodologically, MetaSpatial introduces an adaptive, iterative reasoning process, where the VLM refines spatial arrangements over multiple turns by analyzing rendered outputs, improving scene coherence progressively. Empirical evaluations demonstrate that MetaSpatial significantly enhances the spatial consistency and formatting stability of various scale models. Post-training, object placements are more realistic, aligned, and functionally coherent, validating the effectiveness of RL for 3D spatial reasoning in metaverse, AR/VR, digital twins, and game development applications. Our code, data, and training pipeline are publicly available at https://github.com/PzySeere/MetaSpatial.