MetaSpatial: Versterking van 3D-ruimtelijk redeneren in VLMs voor de Metaverse

MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

March 24, 2025

Auteurs: Zhenyu Pan, Han Liu

cs.AI

Samenvatting

We presenteren MetaSpatial, het eerste reinforcement learning (RL)-gebaseerde raamwerk ontworpen om 3D ruimtelijk redeneren in vision-language modellen (VLMs) te verbeteren, waardoor real-time 3D scènegeneratie mogelijk wordt zonder de noodzaak van hard-coded optimalisaties. MetaSpatial richt zich op twee kernuitdagingen: (i) het gebrek aan geïnternaliseerd 3D ruimtelijk redeneren in VLMs, wat hun vermogen om realistische lay-outs te genereren beperkt, en (ii) de inefficiëntie van traditionele supervised fine-tuning (SFT) voor lay-outgeneratietaken, aangezien perfecte grondwaarheidannotaties ontbreken. Onze belangrijkste innovatie is een multi-turn RL-gebaseerd optimalisatiemechanisme dat physics-aware beperkingen en gerenderde beeldbeoordelingen integreert, waardoor gegeneerde 3D lay-outs coherent, fysiek plausibel en esthetisch consistent zijn. Methodologisch introduceert MetaSpatial een adaptief, iteratief redeneerproces, waarbij het VLM ruimtelijke arrangementen over meerdere beurten verfijnt door gerenderde uitvoer te analyseren, waardoor de scènecoherentie geleidelijk verbetert. Empirische evaluaties tonen aan dat MetaSpatial de ruimtelijke consistentie en opmaakstabiliteit van verschillende schaalmodellen aanzienlijk verbetert. Na de training zijn objectplaatsingen realistischer, uitgelijnd en functioneel coherent, wat de effectiviteit van RL voor 3D ruimtelijk redeneren in metaverse, AR/VR, digitale tweelingen en gameontwikkelingstoepassingen valideert. Onze code, data en trainingspipeline zijn publiekelijk beschikbaar op https://github.com/PzySeere/MetaSpatial.

English

We present MetaSpatial, the first reinforcement learning (RL)-based framework designed to enhance 3D spatial reasoning in vision-language models (VLMs), enabling real-time 3D scene generation without the need for hard-coded optimizations. MetaSpatial addresses two core challenges: (i) the lack of internalized 3D spatial reasoning in VLMs, which limits their ability to generate realistic layouts, and (ii) the inefficiency of traditional supervised fine-tuning (SFT) for layout generation tasks, as perfect ground truth annotations are unavailable. Our key innovation is a multi-turn RL-based optimization mechanism that integrates physics-aware constraints and rendered image evaluations, ensuring generated 3D layouts are coherent, physically plausible, and aesthetically consistent. Methodologically, MetaSpatial introduces an adaptive, iterative reasoning process, where the VLM refines spatial arrangements over multiple turns by analyzing rendered outputs, improving scene coherence progressively. Empirical evaluations demonstrate that MetaSpatial significantly enhances the spatial consistency and formatting stability of various scale models. Post-training, object placements are more realistic, aligned, and functionally coherent, validating the effectiveness of RL for 3D spatial reasoning in metaverse, AR/VR, digital twins, and game development applications. Our code, data, and training pipeline are publicly available at https://github.com/PzySeere/MetaSpatial.