Actial: Activación de la Capacidad de Razonamiento Espacial en Modelos de Lenguaje Grandes Multimodales

Resumen

Los recientes avances en Modelos de Lenguaje Grandes Multimodales (MLLMs) han mejorado significativamente la comprensión visual 2D, lo que ha generado interés en su aplicación a tareas complejas de razonamiento 3D. Sin embargo, sigue sin estar claro si estos modelos pueden capturar eficazmente la información espacial detallada necesaria para un rendimiento robusto en el mundo real, especialmente la consistencia entre vistas, un requisito clave para un razonamiento 3D preciso. Considerando este problema, presentamos el Aprendizaje de Punto de Vista (Viewpoint Learning), una tarea diseñada para evaluar y mejorar las capacidades de razonamiento espacial de los MLLMs. Presentamos el conjunto de datos Viewpoint-100K, que consta de 100.000 pares de imágenes centradas en objetos con diversos puntos de vista y pares correspondientes de preguntas y respuestas. Nuestro enfoque emplea una estrategia de ajuste fino en dos etapas: primero, se inyecta conocimiento fundamental al MLLM de referencia mediante Ajuste Fino Supervisado (SFT) en Viewpoint-100K, lo que resulta en mejoras significativas en múltiples tareas; segundo, la generalización se mejora mediante Aprendizaje por Refuerzo utilizando el algoritmo de Optimización de Políticas Relativas de Grupo (GRPO) en un conjunto más amplio de preguntas. Adicionalmente, introducimos un método de inicialización híbrido de inicio en frío diseñado para aprender simultáneamente representaciones de puntos de vista y mantener un pensamiento de razonamiento coherente. Los resultados experimentales muestran que nuestro enfoque activa significativamente la capacidad de razonamiento espacial del MLLM, mejorando el rendimiento tanto en tareas de razonamiento dentro del dominio como fuera de él. Nuestros hallazgos resaltan el valor de desarrollar habilidades espaciales fundamentales en los MLLMs, apoyando el progreso futuro en robótica, sistemas autónomos y comprensión de escenas 3D.

English

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved 2D visual understanding, prompting interest in their application to complex 3D reasoning tasks. However, it remains unclear whether these models can effectively capture the detailed spatial information required for robust real-world performance, especially cross-view consistency, a key requirement for accurate 3D reasoning. Considering this issue, we introduce Viewpoint Learning, a task designed to evaluate and improve the spatial reasoning capabilities of MLLMs. We present the Viewpoint-100K dataset, consisting of 100K object-centric image pairs with diverse viewpoints and corresponding question-answer pairs. Our approach employs a two-stage fine-tuning strategy: first, foundational knowledge is injected to the baseline MLLM via Supervised Fine-Tuning (SFT) on Viewpoint-100K, resulting in significant improvements across multiple tasks; second, generalization is enhanced through Reinforcement Learning using the Group Relative Policy Optimization (GRPO) algorithm on a broader set of questions. Additionally, we introduce a hybrid cold-start initialization method designed to simultaneously learn viewpoint representations and maintain coherent reasoning thinking. Experimental results show that our approach significantly activates the spatial reasoning ability of MLLM, improving performance on both in-domain and out-of-domain reasoning tasks. Our findings highlight the value of developing foundational spatial skills in MLLMs, supporting future progress in robotics, autonomous systems, and 3D scene understanding.

Actial: Activación de la Capacidad de Razonamiento Espacial en Modelos de Lenguaje Grandes Multimodales

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

Resumen

Support