ViSurf: Affinamento Visivo Supervisionato e con Rinforzo per Modelli di Grande Scala Visione e Linguaggio

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

Autori: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

Abstract

I paradigmi tipici di post-addestramento per i Modelli di Visione e Linguaggio su Grande Scala (LVLMs) includono il Fine-Tuning Supervisionato (SFT) e l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). L'SFT sfrutta una guida esterna per iniettare nuove conoscenze, mentre l'RLVR utilizza un rinforzo interno per migliorare le capacità di ragionamento e le prestazioni complessive. Tuttavia, la nostra analisi rivela che l'SFT spesso porta a prestazioni sub-ottimali, mentre l'RLVR incontra difficoltà con compiti che superano la base di conoscenza interna del modello. Per affrontare queste limitazioni, proponiamo ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), un paradigma di post-addestramento unificato che integra i punti di forza sia dell'SFT che dell'RLVR in un'unica fase. Analizziamo la derivazione degli obiettivi dell'SFT e dell'RLVR per stabilire l'obiettivo di ViSurf, fornendo una prospettiva unificata su questi due paradigmi. Il nucleo di ViSurf consiste nell'iniettare etichette di verità fondamentale (ground-truth) nei rollouts dell'RLVR, fornendo così una supervisione esterna e un rinforzo interno simultanei. Inoltre, introduciamo tre nuove strategie di controllo delle ricompense per stabilizzare e ottimizzare il processo di addestramento. Esperimenti estesi su diversi benchmark dimostrano l'efficacia di ViSurf, superando sia l'SFT individuale, l'RLVR, e l'approccio a due fasi SFT \textrightarrow RLVR. Un'analisi approfondida conferma questi risultati, validando la derivazione e i principi di progettazione di ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.