Melhoria do Raciocínio Visuoespacial por meio de Treinamento Semelhante ao R1-Zero

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Autores: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Resumo

Crescente atenção tem sido direcionada para melhorar as capacidades de raciocínio dos modelos de linguagem multimodal de grande escala (MLLMs). Como pilar fundamental para agentes de IA que operam no mundo físico, a inteligência visual-espacial baseada em vídeo (VSI) surge como uma das habilidades de raciocínio mais cruciais dos MLLMs. Este trabalho realiza um estudo pioneiro e aprofundado sobre a melhoria do raciocínio visual-espacial dos MLLMs por meio de treinamento semelhante ao R1-Zero. Tecnicamente, primeiro identificamos que as capacidades de raciocínio visual-espacial dos modelos Qwen2-VL de pequeno a médio porte não podem ser ativadas por meio de prompts de Chain of Thought (CoT). Em seguida, incorporamos o treinamento GRPO para aprimorar o raciocínio visual-espacial, utilizando o conjunto de dados VSI-100k cuidadosamente curado, seguindo o DeepSeek-R1-Zero. Durante a investigação, identificamos a necessidade de manter a penalidade KL (mesmo com um valor pequeno) no GRPO. Com apenas 120 horas de GPU, nosso modelo vsGRPO-2B, ajustado a partir do Qwen2-VL-2B, supera o modelo base em 12,1% e ultrapassa o GPT-4o. Além disso, nosso modelo vsGRPO-7B, ajustado a partir do Qwen2-VL-7B, alcança desempenho comparável ao do melhor modelo de código aberto, o LLaVA-NeXT-Video-72B. Adicionalmente, comparamos o vsGRPO com ajustes finos supervisionados e otimizações de preferência direta, observando uma forte superioridade de desempenho. O código e o conjunto de dados estarão disponíveis em breve.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.