VisPlay: Zelf-evoluerende vision-language-modellen vanuit beelden

VisPlay: Self-Evolving Vision-Language Models from Images

November 19, 2025

Auteurs: Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang

cs.AI

Samenvatting

Versterkend leren (Reinforcement Learning, RL) biedt een principieel kader om Vision-Language Models (VLMs) te verbeteren voor complexe redeneertaken. Bestaande RL-benaderingen zijn echter vaak afhankelijk van door mensen geannoteerde labels of taakspecifieke heuristieken om verifieerbare beloningen te definiëren, wat beide kostbaar en moeilijk schaalbaar is. Wij introduceren VisPlay, een zelf-evoluerend RL-kader dat VLMs in staat stelt om autonoom hun redeneervermogen te verbeteren met behulp van grote hoeveelheden ongelabelde beeldgegevens. Uitgaande van een enkel basis-VLM, wijst VisPlay het model twee interactieve rollen toe: een Beeld-gestuurde Vragensteller die uitdagende maar toch beantwoordbare visuele vragen formuleert, en een Multimodale Redeneerder die zilveren antwoorden genereert. Deze rollen worden gezamenlijk getraind met Group Relative Policy Optimization (GRPO), dat diversiteits- en moeilijkheidsbeloningen incorporeert om de complexiteit van gegenereerde vragen af te stemmen op de kwaliteit van de zilveren antwoorden. VisPlay schaalt efficiënt over twee modelfamilies. Na training op Qwen2.5-VL en MiMo-VL behaalt VisPlay consistente verbeteringen in visueel redeneren, compositionele generalisatie en het verminderen van hallucinaties op acht benchmarks, waaronder MM-Vet en MMMU, wat een schaalbare weg demonstreert naar zelf-evoluerende multimodale intelligentie. De projectpagina is beschikbaar op https://bruno686.github.io/VisPlay/.

English

Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/