MetaSpatial: Rafforzamento del Ragionamento Spaziale 3D nei VLMs per il Metaverso

MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

March 24, 2025

Autori: Zhenyu Pan, Han Liu

cs.AI

Abstract

Presentiamo MetaSpatial, il primo framework basato sul reinforcement learning (RL) progettato per migliorare il ragionamento spaziale 3D nei modelli visione-linguaggio (VLMs), consentendo la generazione di scene 3D in tempo reale senza la necessità di ottimizzazioni predefinite. MetaSpatial affronta due sfide principali: (i) la mancanza di un ragionamento spaziale 3D internalizzato nei VLMs, che limita la loro capacità di generare layout realistici, e (ii) l'inefficienza del tradizionale fine-tuning supervisionato (SFT) per i task di generazione di layout, poiché non sono disponibili annotazioni di ground truth perfette. La nostra innovazione chiave è un meccanismo di ottimizzazione basato su RL multi-turn che integra vincoli fisicamente consapevoli e valutazioni di immagini renderizzate, garantendo che i layout 3D generati siano coerenti, fisicamente plausibili e esteticamente consistenti. Metodologicamente, MetaSpatial introduce un processo di ragionamento iterativo e adattivo, in cui il VLM affina le disposizioni spaziali attraverso più turni analizzando gli output renderizzati, migliorando progressivamente la coerenza della scena. Le valutazioni empiriche dimostrano che MetaSpatial migliora significativamente la coerenza spaziale e la stabilità di formattazione di vari modelli in scala. Dopo l'addestramento, il posizionamento degli oggetti risulta più realistico, allineato e funzionalmente coerente, validando l'efficacia dell'RL per il ragionamento spaziale 3D in applicazioni come metaverso, AR/VR, gemelli digitali e sviluppo di giochi. Il nostro codice, dati e pipeline di addestramento sono disponibili pubblicamente all'indirizzo https://github.com/PzySeere/MetaSpatial.

English

We present MetaSpatial, the first reinforcement learning (RL)-based framework designed to enhance 3D spatial reasoning in vision-language models (VLMs), enabling real-time 3D scene generation without the need for hard-coded optimizations. MetaSpatial addresses two core challenges: (i) the lack of internalized 3D spatial reasoning in VLMs, which limits their ability to generate realistic layouts, and (ii) the inefficiency of traditional supervised fine-tuning (SFT) for layout generation tasks, as perfect ground truth annotations are unavailable. Our key innovation is a multi-turn RL-based optimization mechanism that integrates physics-aware constraints and rendered image evaluations, ensuring generated 3D layouts are coherent, physically plausible, and aesthetically consistent. Methodologically, MetaSpatial introduces an adaptive, iterative reasoning process, where the VLM refines spatial arrangements over multiple turns by analyzing rendered outputs, improving scene coherence progressively. Empirical evaluations demonstrate that MetaSpatial significantly enhances the spatial consistency and formatting stability of various scale models. Post-training, object placements are more realistic, aligned, and functionally coherent, validating the effectiveness of RL for 3D spatial reasoning in metaverse, AR/VR, digital twins, and game development applications. Our code, data, and training pipeline are publicly available at https://github.com/PzySeere/MetaSpatial.