VisPlay: Саморазвивающиеся модели «визуальный язык» на основе изображений
VisPlay: Self-Evolving Vision-Language Models from Images
November 19, 2025
Авторы: Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang
cs.AI
Аннотация
Обучение с подкреплением (RL) предоставляет принципиальную основу для улучшения визуально-языковых моделей (VLM) в задачах сложного логического вывода. Однако существующие подходы RL часто полагаются на размеченные человеком метки или специфичные для задачи эвристики для определения верифицируемых функций вознаграждения, что является дорогостоящим и сложно масштабируемым. Мы представляем VisPlay, саморазвивающуюся RL-структуру, которая позволяет VLM автономно улучшать свои способности к рассуждению, используя большие объемы немаркированных изображений. Начиная с одной базовой VLM, VisPlay назначает модели две взаимодействующие роли: Формулировщик вопросов на основе изображений, который ставит сложные, но разрешимые визуальные вопросы, и Мультимодальный агент рассуждений, который генерирует серебряные ответы. Эти роли совместно обучаются с помощью Оптимизации относительной групповой политики (GRPO), которая включает вознаграждения за разнообразие и сложность для балансировки сложности генерируемых вопросов и качества серебряных ответов. VisPlay эффективно масштабируется для двух семейств моделей. При обучении на Qwen2.5-VL и MiMo-VL, VisPlay демонстрирует устойчивое улучшение в визуальном reasoning, композиционном обобщении и снижении галлюцинаций на восьми бенчмарках, включая MM-Vet и MMMU, показывая масштабируемый путь к саморазвивающемуся мультимодальному интеллекту. Страница проекта доступна по адресу https://bruno686.github.io/VisPlay/.
English
Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/