Visual-RFT: Visuele Versterkingsfijnafstemming

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

Auteurs: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Reinforcement Fine-Tuning (RFT) in grote redeneermodellen zoals OpenAI o1 leert van feedback op zijn antwoorden, wat vooral nuttig is in toepassingen waar fijn-tuningdata schaars is. Recent open-source werk zoals DeepSeek-R1 toont aan dat reinforcement learning met verifieerbare beloning een belangrijke richting is bij het reproduceren van o1. Hoewel het R1-stijl model succes heeft aangetoond in taalmodelen, blijft de toepassing ervan in multimodale domeinen onderbelicht. Dit werk introduceert Visual Reinforcement Fine-Tuning (Visual-RFT), dat de toepassingsgebieden van RFT verder uitbreidt naar visuele taken. Specifiek gebruikt Visual-RFT eerst Large Vision-Language Models (LVLMs) om meerdere reacties te genereren die redeneringstokens en eindantwoorden bevatten voor elke invoer, en gebruikt vervolgens onze voorgestelde visuele perceptie verifieerbare beloningsfuncties om het model bij te werken via het beleidsoptimalisatiealgoritme zoals Group Relative Policy Optimization (GRPO). We ontwerpen verschillende verifieerbare beloningsfuncties voor verschillende perceptietaken, zoals de Intersection over Union (IoU) beloning voor objectdetectie. Experimentele resultaten op benchmarks voor fijnmazige beeldclassificatie, few-shot objectdetectie, redeneringsgronding, evenals open-vocabulaire objectdetectie tonen de competitieve prestaties en geavanceerde generalisatiecapaciteit van Visual-RFT in vergelijking met Supervised Fine-tuning (SFT). Zo verbetert Visual-RFT de nauwkeurigheid met 24,3% ten opzichte van de baseline in one-shot fijnmazige beeldclassificatie met ongeveer 100 samples. In few-shot objectdetectie overtreft Visual-RFT de baseline ook met 21,9 op COCO's two-shot setting en 15,4 op LVIS. Onze Visual-RFT vertegenwoordigt een paradigmaverschuiving in het fijn-tunen van LVLMs, en biedt een data-efficiënte, beloningsgedreven aanpak die redenering en aanpassingsvermogen voor domeinspecifieke taken verbetert.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.