ViSurf: Visueel Supervised-and-Reinforcement Fine-Tuning voor Grote Visie-en-Taalmodellen

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

Auteurs: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

Samenvatting

Typische post-trainingsparadigma's voor Grote Visueel-Taalmodellen (LVLMs) omvatten Supervised Fine-Tuning (SFT) en Reinforcement Learning met Verifieerbare Beloningen (RLVR). SFT maakt gebruik van externe begeleiding om nieuwe kennis toe te voegen, terwijl RLVR interne versterking benut om redeneervaardigheden en algehele prestaties te verbeteren. Uit onze analyse blijkt echter dat SFT vaak leidt tot suboptimale prestaties, terwijl RLVR moeite heeft met taken die de interne kennisbasis van het model overstijgen. Om deze beperkingen aan te pakken, stellen we ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning) voor, een geïntegreerd post-trainingsparadigma dat de sterke punten van zowel SFT als RLVR combineert in één fase. We analyseren de afleiding van de SFT- en RLVR-doelstellingen om de ViSurf-doelstelling vast te stellen, wat een verenigd perspectief biedt op deze twee paradigma's. De kern van ViSurf bestaat uit het injecteren van grondwaarheidslabels in de RLVR-rollouts, waardoor gelijktijdig externe supervisie en interne versterking wordt geboden. Bovendien introduceren we drie nieuwe beloningscontrolemethoden om het trainingsproces te stabiliseren en te optimaliseren. Uitgebreide experimenten over diverse benchmarks tonen de effectiviteit van ViSurf aan, waarbij het zowel individuele SFT, RLVR, als de tweefase SFT \textrightarrow RLVR overtreft. Diepgaande analyses bevestigen deze bevindingen en valideren de afleiding en ontwerp principes van ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.