ViSurf: Visuelles Supervised-and-Reinforcement Fine-Tuning für große Vision-und-Sprache-Modelle

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

papers.authors: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

papers.abstract

Typische Post-Training-Paradigmen für große visuell-sprachliche Modelle (Large Vision-and-Language Models, LVLMs) umfassen Supervised Fine-Tuning (SFT) und Reinforcement Learning mit überprüfbaren Belohnungen (Reinforcement Learning with Verifiable Rewards, RLVR). SFT nutzt externe Anleitung, um neues Wissen einzubringen, während RLVR interne Verstärkung verwendet, um die Fähigkeiten zur logischen Schlussfolgerung und die Gesamtleistung zu verbessern. Unsere Analyse zeigt jedoch, dass SFT häufig zu suboptimaler Leistung führt, während RLVR bei Aufgaben, die die interne Wissensbasis des Modells übersteigen, Schwierigkeiten hat. Um diese Einschränkungen zu überwinden, schlagen wir ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning) vor, ein einheitliches Post-Training-Paradigma, das die Stärken von SFT und RLVR in einer einzigen Stufe integriert. Wir analysieren die Ableitung der SFT- und RLVR-Ziele, um das ViSurf-Ziel zu etablieren, und bieten damit eine einheitliche Perspektive auf diese beiden Paradigmen. Der Kern von ViSurf besteht darin, Ground-Truth-Labels in die RLVR-Rollouts einzubetten, wodurch gleichzeitig externe Überwachung und interne Verstärkung bereitgestellt werden. Darüber hinaus führen wir drei neuartige Belohnungssteuerungsstrategien ein, um den Trainingsprozess zu stabilisieren und zu optimieren. Umfangreiche Experimente über mehrere diverse Benchmarks hinweg demonstrieren die Wirksamkeit von ViSurf, das sowohl individuelles SFT, RLVR als auch zweistufiges SFT \textrightarrow RLVR übertrifft. Eine detaillierte Analyse bestätigt diese Ergebnisse und validiert die Ableitung und Designprinzipien von ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.