Visual-RFT: Affinamento Visivo con Rinforzo

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

Autori: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Abstract

Il Reinforcement Fine-Tuning (RFT) nei modelli di ragionamento su larga scala come OpenAI o1 apprende dai feedback sulle sue risposte, risultando particolarmente utile in applicazioni in cui i dati per il fine-tuning sono scarsi. Recenti lavori open-source come DeepSeek-R1 dimostrano che l'apprendimento per rinforzo con ricompense verificabili è una direzione chiave per riprodurre o1. Sebbene il modello in stile R1 abbia dimostrato successo nei modelli linguistici, la sua applicazione in domini multi-modali rimane poco esplorata. Questo lavoro introduce il Visual Reinforcement Fine-Tuning (Visual-RFT), che estende ulteriormente le aree di applicazione dell'RFT ai compiti visivi. Nello specifico, il Visual-RFT utilizza prima i Large Vision-Language Models (LVLMs) per generare multiple risposte contenenti token di ragionamento e risposte finali per ogni input, e poi impiega le nostre funzioni di ricompensa verificabile basate sulla percezione visiva per aggiornare il modello tramite algoritmi di ottimizzazione delle politiche come il Group Relative Policy Optimization (GRPO). Progettiamo diverse funzioni di ricompensa verificabile per diversi compiti di percezione, come la ricompensa Intersection over Union (IoU) per il rilevamento di oggetti. I risultati sperimentali su classificazione di immagini fine-grained, rilevamento di oggetti few-shot, grounding del ragionamento e benchmark di rilevamento di oggetti open-vocabulary mostrano le prestazioni competitive e la capacità di generalizzazione avanzata del Visual-RFT rispetto al Supervised Fine-Tuning (SFT). Ad esempio, il Visual-RFT migliora l'accuratezza del 24,3% rispetto alla baseline nella classificazione fine-grained one-shot con circa 100 campioni. Nel rilevamento di oggetti few-shot, il Visual-RFT supera anche la baseline di 21,9 nel setting two-shot di COCO e di 15,4 su LVIS. Il nostro Visual-RFT rappresenta un cambio di paradigma nel fine-tuning degli LVLMs, offrendo un approccio guidato dalle ricompense ed efficiente in termini di dati che migliora il ragionamento e l'adattabilità per compiti specifici del dominio.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.