SVR-R1: 강화 학습에서 자가 검증을 통한 다중 모달 추론의 부트스트래핑

초록

본 논문에서는 SVR-R1(Self-Verified Reasoner)을 소개한다. 이는 모델 자체의 검증을 다중 모달 추론을 위한 학습 신호로 전환하는 다중 턴 강화 학습(RL) 프레임워크이다. 각 질의에 대해 모델은 동일한 가중치를 사용하여 답변을 제안하고 이진 자기 판정(예/아니오)을 내린다. '아니오' 판정은 재검토 기회를 제공하고, '예' 판정 혹은 턴 제한 도달 시 결과 기반 보상을 계산하기 위한 최종 출력이 생성된다. SVR-R1은 GRPO와 비동기 다중 턴 롤아웃 프레임워크로 구현되며, 외부 감독이나 보조 비평가를 필요로 하지 않는다. 시각-언어 추론 벤치마크에서 SVR-R1을 평가한 결과, 강력한 표준 GRPO 기준선 대비 큰 폭의 정확도 향상을 보였다. 훈련 동학을 분석한 결과, 검증에 대한 의존도가 감소하고(더 적은 검증 턴) 오히려 테스트 정확도가 높아지는 경향이 나타났다. 이는 정책이 자기 교정을 내재화하고 본 프레임워크를 통해 가장 자신 있는 답변을 선택함에 따라 검증과 생성 간의 격차가 좁혀짐을 시사한다. SVR-R1은 VLM(시각-언어 모델)을 위한 추론 시간 자기 개선과 RL 훈련이라는 덜 탐구된 교차점을 연결하며, 다중 모달 추론을 부트스트래핑하는 간단하면서도 효과적인 레시피를 제공한다. 향후 VLM 연구 촉진을 위해 SVR-R1을 오픈소스로 공개할 예정이다.

English

We introduce Self-Verified Reasoner (SVR-R1), a multi-turn RL framework that turns a model's own verification into a learning signal for multimodal reasoning. For each query, the model proposes an answer using the same weights, and issues a binary self-verdict (Yes/No). A 'No' triggers a second-chance rethink; a 'Yes,' or a turn cap, finalizes the output for computing the outcome-based reward. SVR-R1 is implemented with GRPO and an asynchronous multi-turn rollout framework and needs no external supervision or auxiliary critics. We evaluate SVR-R1 on vision-language reasoning benchmarks and show that it improves accuracy by a large margin over strong standard GRPO baselines. Training dynamics show decreasing reliance on verification-fewer verification turns, yet higher test accuracy-indicating that the gap between verification and generation narrows as the policy internalizes self-correction and chooses the most confident answer via our framework. SVR-R1 bridges the less explored intersection of inference-time self-refinement and RL training for VLMs, offering a simple yet effective recipe for bootstrapping multimodal reasoning. We will open-source SVR-R1 to facilitate future research in VLMs.