R1-VL: 단계별 그룹 상대 정책 최적화를 통한 다중모달 대형 언어 모델의 추론 학습

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

저자: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

초록

최근 연구들은 일반적으로 고품질의 사고 연쇄(chain-of-thought) 추론 데이터에 대한 지도 미세 조정을 통해 MLLM(Multimodal Large Language Model)의 추론 능력을 향상시키는데, 이는 종종 모델이 성공적인 추론 경로를 단순히 모방하게 하면서 잘못된 추론 경로를 이해하지 못하는 결과를 초래합니다. 본 연구에서는 MLLM의 추론 능력을 단순히 긍정적인 추론 경로를 수동적으로 모방하는 것을 넘어서 향상시키는 것을 목표로 합니다. 이를 위해, 우리는 단계별 그룹 상대 정책 최적화(Step-wise Group Relative Policy Optimization, StepGRPO)라는 새로운 온라인 강화 학습 프레임워크를 설계했습니다. 이 프레임워크는 MLLM이 간단하고 효과적이며 밀도 높은 단계별 보상을 통해 스스로 추론 능력을 개선할 수 있도록 합니다. 구체적으로, StepGRPO는 두 가지 새로운 규칙 기반 추론 보상을 도입합니다: 단계별 추론 정확도 보상(Step-wise Reasoning Accuracy Reward, StepRAR)과 단계별 추론 타당성 보상(Step-wise Reasoning Validity Reward, StepRVR). StepRAR는 부드러운 핵심 단계 매칭 기술을 통해 필요한 중간 추론 단계를 포함하는 추론 경로를 보상하며, StepRVR은 추론의 완전성과 논리적 일관성을 평가하는 전략을 통해 잘 구조화되고 논리적으로 일관된 추론 과정을 따르는 추론 경로를 보상합니다. 제안된 StepGRPO를 통해, 우리는 단계별 추론에서 뛰어난 능력을 보이는 일련의 MLLM인 R1-VL을 소개합니다. 8개의 벤치마크에 대한 광범위한 실험을 통해 우리 방법의 우수성을 입증했습니다.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.