Ativação da Capacidade de Raciocínio Espacial em Modelos Multimodais de Grande Porte de Linguagem

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

November 3, 2025

Autores: Xiaoyu Zhan, Wenxuan Huang, Hao Sun, Xinyu Fu, Changfeng Ma, Shaosheng Cao, Bohan Jia, Shaohui Lin, Zhenfei Yin, Lei Bai, Wanli Ouyang, Yuanqi Li, Jie Guo, Yanwen Guo

cs.AI

Resumo

Os recentes avanços nos Modelos de Linguagem de Grande Porte Multimodais (MLLMs) melhoraram significativamente a compreensão visual 2D, despertando interesse na sua aplicação a tarefas complexas de raciocínio 3D. No entanto, permanece incerto se estes modelos podem capturar eficazmente a informação espacial detalhada necessária para um desempenho robusto no mundo real, especialmente a consistência entre vistas (cross-view consistency), um requisito fundamental para um raciocínio 3D preciso. Considerando esta questão, introduzimos a Aprendizagem de Ponto de Vista (Viewpoint Learning), uma tarefa concebida para avaliar e melhorar as capacidades de raciocínio espacial dos MLLMs. Apresentamos o conjunto de dados Viewpoint-100K, composto por 100K pares de imagens centradas em objetos com diversos pontos de vista e pares de perguntas-respostas correspondentes. A nossa abordagem emprega uma estratégia de afinação (fine-tuning) em duas etapas: primeiro, o conhecimento fundamental é injetado no MLLM de base através de Afinação Supervisionada (SFT) no Viewpoint-100K, resultando em melhorias significativas em múltiplas tarefas; segundo, a generalização é melhorada através de Aprendizagem por Reforço utilizando o algoritmo de Otimização de Política Relativa de Grupo (GRPO) num conjunto mais alargado de questões. Adicionalmente, introduzimos um método de inicialização híbrido de arranque a frio (cold-start) concebido para aprender simultaneamente representações de ponto de vista e manter um pensamento de raciocínio coerente. Resultados experimentais mostram que a nossa abordagem ativa significativamente a capacidade de raciocínio espacial do MLLM, melhorando o desempenho em tarefas de raciocínio dentro do domínio (in-domain) e fora do domínio (out-of-domain). As nossas descobertas destacam o valor de desenvolver competências espaciais fundamentais nos MLLMs, apoiando progressos futuros em robótica, sistemas autónomos e compreensão de cenas 3D.

English

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved 2D visual understanding, prompting interest in their application to complex 3D reasoning tasks. However, it remains unclear whether these models can effectively capture the detailed spatial information required for robust real-world performance, especially cross-view consistency, a key requirement for accurate 3D reasoning. Considering this issue, we introduce Viewpoint Learning, a task designed to evaluate and improve the spatial reasoning capabilities of MLLMs. We present the Viewpoint-100K dataset, consisting of 100K object-centric image pairs with diverse viewpoints and corresponding question-answer pairs. Our approach employs a two-stage fine-tuning strategy: first, foundational knowledge is injected to the baseline MLLM via Supervised Fine-Tuning (SFT) on Viewpoint-100K, resulting in significant improvements across multiple tasks; second, generalization is enhanced through Reinforcement Learning using the Group Relative Policy Optimization (GRPO) algorithm on a broader set of questions. Additionally, we introduce a hybrid cold-start initialization method designed to simultaneously learn viewpoint representations and maintain coherent reasoning thinking. Experimental results show that our approach significantly activates the spatial reasoning ability of MLLM, improving performance on both in-domain and out-of-domain reasoning tasks. Our findings highlight the value of developing foundational spatial skills in MLLMs, supporting future progress in robotics, autonomous systems, and 3D scene understanding.