ViSurf: Визуальное обучение с учителем и подкреплением для точной настройки крупных моделей обработки изображений и текста

ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models

October 12, 2025

Авторы: Yuqi Liu, Liangyu Chen, Jiazhen Liu, Mingkang Zhu, Zhisheng Zhong, Bei Yu, Jiaya Jia

cs.AI

Аннотация

Типичные посттренировочные парадигмы для крупных моделей, объединяющих зрение и язык (Large Vision-and-Language Models, LVLMs), включают контролируемую тонкую настройку (Supervised Fine-Tuning, SFT) и обучение с подкреплением с проверяемыми наградами (Reinforcement Learning with Verifiable Rewards, RLVR). SFT использует внешнее руководство для внедрения новых знаний, тогда как RLVR применяет внутреннее подкрепление для улучшения способностей к рассуждению и общей производительности. Однако наш анализ показывает, что SFT часто приводит к субоптимальной производительности, в то время как RLVR испытывает трудности с задачами, выходящими за пределы внутренней базы знаний модели. Для устранения этих ограничений мы предлагаем ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), унифицированную посттренировочную парадигму, которая интегрирует преимущества как SFT, так и RLVR в рамках одного этапа. Мы анализируем вывод целей SFT и RLVR для установления цели ViSurf, предоставляя унифицированный взгляд на эти две парадигмы. Основная идея ViSurf заключается во внедрении эталонных меток в процесс RLVR, что обеспечивает одновременное внешнее управление и внутреннее подкрепление. Кроме того, мы вводим три новые стратегии управления наградами для стабилизации и оптимизации процесса обучения. Многочисленные эксперименты на различных тестовых наборах демонстрируют эффективность ViSurf, превосходящей как отдельные SFT и RLVR, так и двухэтапный подход SFT → RLVR. Подробный анализ подтверждает эти результаты, подтверждая обоснованность вывода и принципов проектирования ViSurf.

English

Typical post-training paradigms for Large Vision-and-Language Models (LVLMs) include Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR). SFT leverages external guidance to inject new knowledge, whereas RLVR utilizes internal reinforcement to enhance reasoning capabilities and overall performance. However, our analysis reveals that SFT often leads to sub-optimal performance, while RLVR struggles with tasks that exceed the model's internal knowledge base. To address these limitations, we propose ViSurf (Visual Supervised-and-Reinforcement Fine-Tuning), a unified post-training paradigm that integrates the strengths of both SFT and RLVR within a single stage. We analyze the derivation of the SFT and RLVR objectives to establish the ViSurf objective, providing a unified perspective on these two paradigms. The core of ViSurf involves injecting ground-truth labels into the RLVR rollouts, thereby providing simultaneous external supervision and internal reinforcement. Furthermore, we introduce three novel reward control strategies to stabilize and optimize the training process. Extensive experiments across several diverse benchmarks demonstrate the effectiveness of ViSurf, outperforming both individual SFT, RLVR, and two-stage SFT \textrightarrow RLVR. In-depth analysis corroborates these findings, validating the derivation and design principles of ViSurf.