ViSurf: Ajuste Fino Visual Supervisado y por Refuerzo para Modelos Grandes de Visión y Lenguaje

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

Autores: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

Resumen

Los paradigmas típicos de post-entrenamiento para Modelos Grandes de Visión y Lenguaje (LVLMs, por sus siglas en inglés) incluyen el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). El SFT aprovecha la guía externa para inyectar nuevos conocimientos, mientras que el RLVR utiliza el refuerzo interno para mejorar las capacidades de razonamiento y el rendimiento general. Sin embargo, nuestro análisis revela que el SFT a menudo conduce a un rendimiento subóptimo, mientras que el RLVR lucha con tareas que superan la base de conocimientos interna del modelo. Para abordar estas limitaciones, proponemos ViSurf (Ajuste Fino Visual Supervisado y por Refuerzo), un paradigma unificado de post-entrenamiento que integra las fortalezas de ambos enfoques, SFT y RLVR, en una sola etapa. Analizamos la derivación de los objetivos de SFT y RLVR para establecer el objetivo de ViSurf, proporcionando una perspectiva unificada sobre estos dos paradigmas. El núcleo de ViSurf implica inyectar etiquetas de verdad fundamental (ground-truth) en las iteraciones de RLVR, ofreciendo así supervisión externa y refuerzo interno simultáneamente. Además, introducimos tres estrategias novedosas de control de recompensas para estabilizar y optimizar el proceso de entrenamiento. Experimentos exhaustivos en varios benchmarks diversos demuestran la efectividad de ViSurf, superando tanto al SFT individual, al RLVR, como al enfoque de dos etapas SFT → RLVR. Un análisis en profundidad corrobora estos hallazgos, validando la derivación y los principios de diseño de ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.