Verbeterd Visueel-Ruimtelijk Redeneren via R1-Zero-Achtige Training

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Auteurs: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Samenvatting

Er is steeds meer aandacht voor het verbeteren van de redeneervaardigheden van multimodale grote taalmodellen (MLLMs). Als hoeksteen voor AI-agents die functioneren in de fysieke wereld, komt visueel-ruimtelijke intelligentie (VSI) op basis van video naar voren als een van de meest cruciale redeneervaardigheden van MLLMs. Dit werk voert een eerste, diepgaande studie uit naar het verbeteren van het visueel-ruimtelijk redeneren van MLLMs via R1-Zero-achtige training. Technisch gezien identificeren we eerst dat de visueel-ruimtelijke redeneervaardigheden van kleine tot middelgrote Qwen2-VL-modellen niet geactiveerd kunnen worden via Chain of Thought (CoT)-prompts. Vervolgens integreren we GRPO-training voor verbeterd visueel-ruimtelijk redeneren, waarbij we gebruikmaken van de zorgvuldig samengestelde VSI-100k-dataset, in navolging van DeepSeek-R1-Zero. Tijdens het onderzoek identificeren we de noodzaak om de KL-straf (zelfs met een kleine waarde) in GRPO te behouden. Met slechts 120 GPU-uren kan ons vsGRPO-2B-model, gefinetuned vanuit Qwen2-VL-2B, het basismodel met 12,1% overtreffen en GPT-4o overstijgen. Bovendien bereikt ons vsGRPO-7B-model, gefinetuned vanuit Qwen2-VL-7B, prestaties die vergelijkbaar zijn met die van het beste open-source model LLaVA-NeXT-Video-72B. Daarnaast vergelijken we vsGRPO met supervised fine-tuning en direct preference optimization-baselines en observeren we een sterke prestatie-superioriteit. De code en dataset zullen binnenkort beschikbaar zijn.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.