MetaSpatial: Reforçando o Raciocínio Espacial 3D em VLMs para o Metaverso

MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

March 24, 2025

Autores: Zhenyu Pan, Han Liu

cs.AI

Resumo

Apresentamos o MetaSpatial, o primeiro framework baseado em aprendizado por reforço (RL) projetado para aprimorar o raciocínio espacial 3D em modelos de visão e linguagem (VLMs), permitindo a geração de cenas 3D em tempo real sem a necessidade de otimizações pré-definidas. O MetaSpatial aborda dois desafios principais: (i) a falta de raciocínio espacial 3D internalizado em VLMs, o que limita sua capacidade de gerar layouts realistas, e (ii) a ineficiência do ajuste fino supervisionado tradicional (SFT) para tarefas de geração de layouts, já que anotações de verdade absoluta não estão disponíveis. Nossa principal inovação é um mecanismo de otimização baseado em RL de múltiplas etapas que integra restrições conscientes da física e avaliações de imagens renderizadas, garantindo que os layouts 3D gerados sejam coerentes, fisicamente plausíveis e esteticamente consistentes. Metodologicamente, o MetaSpatial introduz um processo de raciocínio iterativo e adaptativo, no qual o VLM refina arranjos espaciais ao longo de múltiplas etapas ao analisar saídas renderizadas, melhorando progressivamente a coerência da cena. Avaliações empíricas demonstram que o MetaSpatial aprimora significativamente a consistência espacial e a estabilidade de formatação de vários modelos em escala. Após o treinamento, o posicionamento de objetos é mais realista, alinhado e funcionalmente coerente, validando a eficácia do RL para raciocínio espacial 3D em aplicações de metaverso, AR/VR, gêmeos digitais e desenvolvimento de jogos. Nosso código, dados e pipeline de treinamento estão publicamente disponíveis em https://github.com/PzySeere/MetaSpatial.

English

We present MetaSpatial, the first reinforcement learning (RL)-based framework designed to enhance 3D spatial reasoning in vision-language models (VLMs), enabling real-time 3D scene generation without the need for hard-coded optimizations. MetaSpatial addresses two core challenges: (i) the lack of internalized 3D spatial reasoning in VLMs, which limits their ability to generate realistic layouts, and (ii) the inefficiency of traditional supervised fine-tuning (SFT) for layout generation tasks, as perfect ground truth annotations are unavailable. Our key innovation is a multi-turn RL-based optimization mechanism that integrates physics-aware constraints and rendered image evaluations, ensuring generated 3D layouts are coherent, physically plausible, and aesthetically consistent. Methodologically, MetaSpatial introduces an adaptive, iterative reasoning process, where the VLM refines spatial arrangements over multiple turns by analyzing rendered outputs, improving scene coherence progressively. Empirical evaluations demonstrate that MetaSpatial significantly enhances the spatial consistency and formatting stability of various scale models. Post-training, object placements are more realistic, aligned, and functionally coherent, validating the effectiveness of RL for 3D spatial reasoning in metaverse, AR/VR, digital twins, and game development applications. Our code, data, and training pipeline are publicly available at https://github.com/PzySeere/MetaSpatial.