Actial : Activation des capacités de raisonnement spatial des modèles de langage multimodaux de grande taille

papers.abstract

Les progrès récents des modèles de langage multimodaux (MLLM) ont considérablement amélioré la compréhension visuelle 2D, suscitant un intérêt pour leur application à des tâches complexes de raisonnement 3D. Cependant, il reste incertain si ces modèles peuvent capturer efficacement l'information spatiale détaillée nécessaire à une performance robuste en conditions réelles, particulièrement la cohérence multi-vues, exigence clé pour un raisonnement 3D précis. Face à ce constat, nous introduisons l'apprentissage de viewpoint, une tâche conçue pour évaluer et améliorer les capacités de raisonnement spatial des MLLM. Nous présentons le jeu de données Viewpoint-100K, comprenant 100 000 paires d'images centrées sur des objets avec des viewpoints variés et des paires question-réponse correspondantes. Notre approche utilise une stratégie de fine-tuning en deux étapes : premièrement, des connaissances fondamentales sont injectées au MLLM de référence via un fine-tuning supervisé sur Viewpoint-100K, conduisant à des améliorations significatives sur multiples tâches ; deuxièmement, la généralisation est renforcée par apprentissage par renforcement utilisant l'algorithme GRPO sur un ensemble plus large de questions. De plus, nous introduisons une méthode d'initialisation hybride conçue pour apprendre simultanément les représentations de viewpoint et maintenir une cohérence raisonnée. Les résultats expérimentaux montrent que notre approche active significativement la capacité de raisonnement spatial des MLLM, améliorant les performances sur des tâches de raisonnement intra-domaine et extra-domaine. Nos conclusions soulignent l'intérêt de développer des compétences spatiales fondamentales dans les MLLM, ouvrant la voie à des progrès futurs en robotique, systèmes autonomes et compréhension de scènes 3D.

English

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved 2D visual understanding, prompting interest in their application to complex 3D reasoning tasks. However, it remains unclear whether these models can effectively capture the detailed spatial information required for robust real-world performance, especially cross-view consistency, a key requirement for accurate 3D reasoning. Considering this issue, we introduce Viewpoint Learning, a task designed to evaluate and improve the spatial reasoning capabilities of MLLMs. We present the Viewpoint-100K dataset, consisting of 100K object-centric image pairs with diverse viewpoints and corresponding question-answer pairs. Our approach employs a two-stage fine-tuning strategy: first, foundational knowledge is injected to the baseline MLLM via Supervised Fine-Tuning (SFT) on Viewpoint-100K, resulting in significant improvements across multiple tasks; second, generalization is enhanced through Reinforcement Learning using the Group Relative Policy Optimization (GRPO) algorithm on a broader set of questions. Additionally, we introduce a hybrid cold-start initialization method designed to simultaneously learn viewpoint representations and maintain coherent reasoning thinking. Experimental results show that our approach significantly activates the spatial reasoning ability of MLLM, improving performance on both in-domain and out-of-domain reasoning tasks. Our findings highlight the value of developing foundational spatial skills in MLLMs, supporting future progress in robotics, autonomous systems, and 3D scene understanding.

Actial : Activation des capacités de raisonnement spatial des modèles de langage multimodaux de grande taille

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

papers.abstract

Support