Actial: Activeren van het Ruimtelijk Redeneervermogen van Multimodale Grote Taalmodellen

Samenvatting

Recente vooruitgang in Multimodale Large Language Models (MLLM's) heeft het 2D-visueel begrip aanzienlijk verbeterd, wat de interesse heeft gewekt voor hun toepassing op complexe 3D-redeneertaken. Het blijft echter onduidelijk of deze modellen de gedetailleerde ruimtelijke informatie die nodig is voor robuuste prestaties in de echte wereld effectief kunnen vastleggen, met name cross-view consistentie, een essentiële vereiste voor accurate 3D-redenering. Gezien deze kwestie introduceren we Viewpoint Learning, een taak ontworpen om de ruimtelijke redeneervaardigheden van MLLM's te evalueren en te verbeteren. We presenteren de Viewpoint-100K dataset, bestaande uit 100K objectgecentreerde beeldparen met diverse gezichtspunten en bijbehorende vraag-antwoordparen. Onze aanpak hanteert een tweefasen fine-tuningstrategie: eerst wordt foundationele kennis geïnjecteerd in het baseline MLLM via Supervised Fine-Tuning (SFT) op Viewpoint-100K, wat resulteert in significante verbeteringen op meerdere taken; ten tweede wordt de generalisatie verbeterd door Reinforcement Learning met behulp van het Group Relative Policy Optimization (GRPO) algoritme op een bredere set vragen. Daarnaast introduceren we een hybride cold-start initialisatiemethode, ontworpen om gelijktijdig viewpointrepresentaties te leren en coherent redeneerdenken te behouden. Experimentele resultaten tonen aan dat onze aanpak het ruimtelijk redeneervermogen van MLLM's significant activeert, waarbij de prestaties verbeteren op zowel in-domein als out-of-domain redeneertaken. Onze bevindingen benadrukken de waarde van het ontwikkelen van foundationele ruimtelijke vaardigheden in MLLM's, wat toekomstige vooruitgang in robotica, autonome systemen en 3D-scènebegrip ondersteunt.

English

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved 2D visual understanding, prompting interest in their application to complex 3D reasoning tasks. However, it remains unclear whether these models can effectively capture the detailed spatial information required for robust real-world performance, especially cross-view consistency, a key requirement for accurate 3D reasoning. Considering this issue, we introduce Viewpoint Learning, a task designed to evaluate and improve the spatial reasoning capabilities of MLLMs. We present the Viewpoint-100K dataset, consisting of 100K object-centric image pairs with diverse viewpoints and corresponding question-answer pairs. Our approach employs a two-stage fine-tuning strategy: first, foundational knowledge is injected to the baseline MLLM via Supervised Fine-Tuning (SFT) on Viewpoint-100K, resulting in significant improvements across multiple tasks; second, generalization is enhanced through Reinforcement Learning using the Group Relative Policy Optimization (GRPO) algorithm on a broader set of questions. Additionally, we introduce a hybrid cold-start initialization method designed to simultaneously learn viewpoint representations and maintain coherent reasoning thinking. Experimental results show that our approach significantly activates the spatial reasoning ability of MLLM, improving performance on both in-domain and out-of-domain reasoning tasks. Our findings highlight the value of developing foundational spatial skills in MLLMs, supporting future progress in robotics, autonomous systems, and 3D scene understanding.

Actial: Activeren van het Ruimtelijk Redeneervermogen van Multimodale Grote Taalmodellen

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

Samenvatting

Support