Visual-RFT: 시각적 강화 미세 조정

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

저자: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

초록

OpenAI o1과 같은 대규모 추론 모델에서의 강화 미세 조정(Reinforcement Fine-Tuning, RFT)은 답변에 대한 피드백을 통해 학습하며, 특히 미세 조정 데이터가 부족한 애플리케이션에서 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 작업은 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 있어 핵심 방향 중 하나임을 보여줍니다. R1 스타일 모델이 언어 모델에서 성공을 거두었지만, 다중 모달 영역에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에서 RFT의 적용 범위를 더욱 확장한 시각적 강화 미세 조정(Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대형 시각-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함한 여러 응답을 생성한 후, 제안된 시각적 인식 검증 가능 보상 함수를 사용해 Group Relative Policy Optimization(GRPO)과 같은 정책 최적화 알고리즘을 통해 모델을 업데이트합니다. 객체 탐지를 위한 Intersection over Union(IoU) 보상과 같이, 다양한 인식 작업에 대해 서로 다른 검증 가능 보상 함수를 설계합니다. 세분화된 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 오픈 어휘 객체 탐지 벤치마크에서의 실험 결과는 Visual-RFT가 지도 미세 조정(Supervised Fine-tuning, SFT)에 비해 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플을 사용한 원샷 세분화된 이미지 분류에서 기준선 대비 24.3%의 정확도 향상을 달성했습니다. 소수 샷 객체 탐지에서도 Visual-RFT는 COCO의 2샷 설정에서 21.9, LVIS에서 15.4로 기준선을 초과했습니다. 우리의 Visual-RFT는 LVLM 미세 조정에 있어 패러다임 전환을 나타내며, 도메인 특화 작업을 위한 추론과 적응성을 강화하는 데이터 효율적이고 보상 기반의 접근 방식을 제공합니다.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.