Verbesserte visuell-räumliche Argumentation durch R1-Zero-ähnliches Training

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Autoren: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Zusammenfassung

Immer mehr Aufmerksamkeit wird darauf gerichtet, die Fähigkeiten zur logischen Schlussfolgerung von multimodalen großen Sprachmodellen (MLLMs) zu verbessern. Als Grundlage für KI-Agenten, die in der physischen Welt agieren, erweist sich die videobasierte visuell-räumliche Intelligenz (VSI) als eine der entscheidendsten Fähigkeiten zur logischen Schlussfolgerung von MLLMs. Diese Arbeit führt eine erste, umfassende Studie zur Verbesserung der visuell-räumlichen Schlussfolgerungsfähigkeiten von MLLMs durch R1-Zero-ähnliches Training durch. Technisch gesehen stellen wir zunächst fest, dass die visuell-räumlichen Schlussfolgerungsfähigkeiten von kleinen bis mittelgroßen Qwen2-VL-Modellen nicht durch Chain of Thought (CoT)-Prompts aktiviert werden können. Anschließend integrieren wir GRPO-Training zur Verbesserung der visuell-räumlichen Schlussfolgerung, wobei wir den sorgfältig kuratierten VSI-100k-Datensatz verwenden, in Anlehnung an DeepSeek-R1-Zero. Während der Untersuchung erkennen wir die Notwendigkeit, die KL-Strafe (selbst mit einem kleinen Wert) in GRPO beizubehalten. Mit nur 120 GPU-Stunden kann unser vsGRPO-2B-Modell, das aus Qwen2-VL-2B feinabgestimmt wurde, das Basismodell um 12,1 % übertreffen und GPT-4o hinter sich lassen. Darüber hinaus erreicht unser vsGRPO-7B-Modell, das aus Qwen2-VL-7B feinabgestimmt wurde, eine Leistung, die mit der des besten Open-Source-Modells LLaVA-NeXT-Video-72B vergleichbar ist. Zusätzlich vergleichen wir vsGRPO mit überwachtem Feinabstimmungs- und Direct Preference Optimization-Baselines und beobachten eine deutliche Leistungsüberlegenheit. Der Code und der Datensatz werden in Kürze verfügbar sein.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.