Visual-RFT: Visuelles Verstärkungs-Feintuning

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

Autoren: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Reinforcement Fine-Tuning (RFT) in großen Reasoning-Modellen wie OpenAI o1 lernt aus Feedback zu seinen Antworten, was besonders in Anwendungen nützlich ist, in denen Feinabstimmungsdaten knapp sind. Aktuelle Open-Source-Arbeiten wie DeepSeek-R1 zeigen, dass Reinforcement Learning mit verifizierbaren Belohnungen eine zentrale Richtung bei der Reproduktion von o1 ist. Während das R1-ähnliche Modell bei Sprachmodellen Erfolge gezeigt hat, bleibt seine Anwendung in multimodalen Bereichen weitgehend unerforscht. Diese Arbeit führt Visual Reinforcement Fine-Tuning (Visual-RFT) ein, das die Anwendungsbereiche von RFT auf visuelle Aufgaben erweitert. Konkret generiert Visual-RFT zunächst mithilfe von Large Vision-Language Models (LVLMs) mehrere Antworten mit Reasoning-Tokens und endgültigen Lösungen für jede Eingabe und verwendet dann unsere vorgeschlagenen visuellen Wahrnehmungs-Belohnungsfunktionen, um das Modell über Policy-Optimierungsalgorithmen wie Group Relative Policy Optimization (GRPO) zu aktualisieren. Wir entwerfen unterschiedliche verifizierbare Belohnungsfunktionen für verschiedene Wahrnehmungsaufgaben, wie beispielsweise die Intersection over Union (IoU)-Belohnung für die Objekterkennung. Experimentelle Ergebnisse in den Bereichen feinkörnige Bildklassifizierung, Few-Shot-Objekterkennung, Reasoning-Grounding sowie Open-Vocabulary-Objekterkennung zeigen die wettbewerbsfähige Leistung und fortgeschrittene Generalisierungsfähigkeit von Visual-RFT im Vergleich zu Supervised Fine-Tuning (SFT). Beispielsweise verbessert Visual-RFT die Genauigkeit um 24,3 % gegenüber der Baseline bei der One-Shot-feinkörnigen Bildklassifizierung mit etwa 100 Proben. In der Few-Shot-Objekterkennung übertrifft Visual-RFT die Baseline ebenfalls um 21,9 im COCO-Zwei-Shot-Setting und um 15,4 bei LVIS. Unser Visual-RFT stellt einen Paradigmenwechsel in der Feinabstimmung von LVLMs dar und bietet einen dateneffizienten, belohnungsgesteuerten Ansatz, der das Reasoning und die Anpassungsfähigkeit für domänenspezifische Aufgaben verbessert.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.