ViSurf: Ajuste Fino Visual Supervisionado e por Reforço para Grandes Modelos de Visão e Linguagem

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

Autores: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

Resumo

Os paradigmas típicos de pós-treinamento para Grandes Modelos de Visão e Linguagem (LVLMs) incluem Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço com Recompensas Verificáveis (RLVR). O SFT utiliza orientação externa para injetar novos conhecimentos, enquanto o RLVR emprega reforço interno para aprimorar as capacidades de raciocínio e o desempenho geral. No entanto, nossa análise revela que o SFT frequentemente resulta em desempenho subótimo, enquanto o RLVR enfrenta dificuldades em tarefas que ultrapassam a base de conhecimento interno do modelo. Para abordar essas limitações, propomos o ViSurf (Ajuste Fino Supervisionado e por Reforço Visual), um paradigma unificado de pós-treinamento que integra os pontos fortes tanto do SFT quanto do RLVR em uma única etapa. Analisamos a derivação dos objetivos do SFT e do RLVR para estabelecer o objetivo do ViSurf, oferecendo uma perspectiva unificada sobre esses dois paradigmas. O cerne do ViSurf envolve a injeção de rótulos verdadeiros nos rollouts do RLVR, fornecendo assim supervisão externa e reforço interno simultaneamente. Além disso, introduzimos três novas estratégias de controle de recompensa para estabilizar e otimizar o processo de treinamento. Experimentos extensos em diversos benchmarks demonstram a eficácia do ViSurf, superando tanto o SFT individual, o RLVR, quanto a abordagem em duas etapas SFT \textrightarrow RLVR. Análises detalhadas corroboram esses resultados, validando a derivação e os princípios de design do ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.