Amélioration du raisonnement visuo-spatial grâce à un entraînement de type R1-Zero

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Auteurs: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Résumé

Une attention croissante a été portée sur l'amélioration des capacités de raisonnement des modèles de langage multi-modaux de grande taille (MLLMs). En tant que pierre angulaire des agents d'IA opérant dans le domaine physique, l'intelligence visuo-spatiale basée sur la vidéo (VSI) apparaît comme l'une des capacités de raisonnement les plus cruciales des MLLMs. Ce travail présente une première étude approfondie sur l'amélioration du raisonnement visuo-spatial des MLLMs via un entraînement de type R1-Zero. Techniquement, nous identifions d'abord que les capacités de raisonnement visuo-spatial des modèles Qwen2-VL de petite à moyenne taille ne peuvent être activées via des prompts en chaîne de pensée (CoT). Nous intégrons ensuite un entraînement GRPO pour améliorer le raisonnement visuo-spatial, en utilisant le jeu de données soigneusement sélectionné VSI-100k, suivant l'approche DeepSeek-R1-Zero. Au cours de l'étude, nous identifions la nécessité de maintenir la pénalité KL (même avec une faible valeur) dans GRPO. Avec seulement 120 heures de GPU, notre modèle vsGRPO-2B, affiné à partir de Qwen2-VL-2B, surpasse le modèle de base de 12,1% et dépasse GPT-4o. De plus, notre modèle vsGRPO-7B, affiné à partir de Qwen2-VL-7B, atteint des performances comparables à celles du meilleur modèle open-source, LLaVA-NeXT-Video-72B. Par ailleurs, nous comparons vsGRPO à des bases de référence d'affinage supervisé et d'optimisation directe des préférences, et observons une nette supériorité de performance. Le code et le jeu de données seront bientôt disponibles.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.