Visual-RFT : Réglage fin par renforcement visuel

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

Auteurs: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Résumé

Le Fine-Tuning par Renforcement (Reinforcement Fine-Tuning, RFT) dans les modèles de raisonnement à grande échelle comme OpenAI o1 apprend à partir de retours sur ses réponses, ce qui est particulièrement utile dans des applications où les données de fine-tuning sont rares. Les travaux récents en open source, comme DeepSeek-R1, montrent que l'apprentissage par renforcement avec des récompenses vérifiables est une direction clé pour reproduire o1. Bien que le modèle de style R1 ait démontré son succès dans les modèles de langage, son application dans les domaines multi-modaux reste peu explorée. Ce travail introduit le Fine-Tuning par Renforcement Visuel (Visual-RFT), qui étend davantage les domaines d'application du RFT aux tâches visuelles. Concrètement, Visual-RFT utilise d'abord des modèles de vision-langage à grande échelle (Large Vision-Language Models, LVLMs) pour générer plusieurs réponses contenant des tokens de raisonnement et des réponses finales pour chaque entrée, puis utilise nos fonctions de récompense vérifiables basées sur la perception visuelle pour mettre à jour le modèle via un algorithme d'optimisation de politique tel que l'Optimisation de Politique Relative par Groupe (Group Relative Policy Optimization, GRPO). Nous concevons différentes fonctions de récompense vérifiables pour différentes tâches de perception, comme la récompense basée sur l'Intersection sur Union (IoU) pour la détection d'objets. Les résultats expérimentaux sur la classification d'images fine, la détection d'objets en few-shot, l'ancrage de raisonnement, ainsi que les benchmarks de détection d'objets en vocabulaire ouvert montrent la performance compétitive et la capacité de généralisation avancée de Visual-RFT par rapport au Fine-Tuning Supervisé (Supervised Fine-Tuning, SFT). Par exemple, Visual-RFT améliore la précision de 24,3 % par rapport à la ligne de base dans la classification d'images fine en one-shot avec environ 100 échantillons. Dans la détection d'objets en few-shot, Visual-RFT dépasse également la ligne de base de 21,9 sur le réglage two-shot de COCO et de 15,4 sur LVIS. Notre Visual-RFT représente un changement de paradigme dans le fine-tuning des LVLMs, offrant une approche économe en données et pilotée par les récompenses qui améliore le raisonnement et l'adaptabilité pour des tâches spécifiques à un domaine.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.