ViSurf : Ajustement fin visuel supervisé et par renforcement pour les grands modèles de vision et de langage

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

papers.authors: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

papers.abstract

Les paradigmes typiques de post-entraînement pour les modèles de vision et langage à grande échelle (LVLMs) incluent le Fine-Tuning Supervisé (SFT) et l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Le SFT exploite des guidages externes pour injecter de nouvelles connaissances, tandis que le RLVR utilise un renforcement interne pour améliorer les capacités de raisonnement et les performances globales. Cependant, notre analyse révèle que le SFT conduit souvent à des performances sous-optimales, tandis que le RLVR peine avec les tâches qui dépassent la base de connaissances interne du modèle. Pour pallier ces limitations, nous proposons ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), un paradigme de post-entraînement unifié qui intègre les forces du SFT et du RLVR en une seule étape. Nous analysons la dérivation des objectifs du SFT et du RLVR pour établir l'objectif de ViSurf, offrant ainsi une perspective unifiée sur ces deux paradigmes. Le cœur de ViSurf consiste à injecter des étiquettes de vérité terrain dans les déploiements du RLVR, fournissant ainsi une supervision externe et un renforcement interne simultanés. De plus, nous introduisons trois nouvelles stratégies de contrôle des récompenses pour stabiliser et optimiser le processus d'entraînement. Des expériences approfondies sur plusieurs benchmarks diversifiés démontrent l'efficacité de ViSurf, surpassant à la fois le SFT individuel, le RLVR, et l'approche en deux étapes SFT \textrightarrow RLVR. Une analyse approfondie corrobore ces résultats, validant la dérivation et les principes de conception de ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.