Mejora del Razonamiento Visoespacial mediante Entrenamiento Similar a R1-Zero

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Autores: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Resumen

Se ha prestado creciente atención a la mejora de las capacidades de razonamiento de los modelos de lenguaje multimodal de gran escala (MLLMs). Como piedra angular para los agentes de IA que operan en el ámbito físico, la inteligencia visual-espacial basada en video (VSI) emerge como una de las capacidades de razonamiento más cruciales de los MLLMs. Este trabajo realiza un primer estudio en profundidad sobre la mejora del razonamiento visual-espacial de los MLLMs mediante un entrenamiento similar a R1-Zero. Técnicamente, primero identificamos que las capacidades de razonamiento visual-espacial de los modelos Qwen2-VL de tamaño pequeño a mediano no pueden activarse mediante indicaciones de Cadena de Pensamiento (CoT). Luego, incorporamos el entrenamiento GRPO para mejorar el razonamiento visual-espacial, utilizando el conjunto de datos VSI-100k cuidadosamente seleccionado, siguiendo el enfoque de DeepSeek-R1-Zero. Durante la investigación, identificamos la necesidad de mantener la penalización KL (incluso con un valor pequeño) en GRPO. Con solo 120 horas de GPU, nuestro modelo vsGRPO-2B, ajustado a partir de Qwen2-VL-2B, supera al modelo base en un 12.1% y supera a GPT-4o. Además, nuestro modelo vsGRPO-7B, ajustado a partir de Qwen2-VL-7B, alcanza un rendimiento comparable al del mejor modelo de código abierto, LLaVA-NeXT-Video-72B. Adicionalmente, comparamos vsGRPO con ajustes supervisados y optimización directa de preferencias, observando una fuerte superioridad en el rendimiento. El código y el conjunto de datos estarán disponibles próximamente.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.