VisPlay: Selbstentwickelnde Bild-Sprache-Modelle aus Bildern
VisPlay: Self-Evolving Vision-Language Models from Images
November 19, 2025
papers.authors: Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang
cs.AI
papers.abstract
Reinforcement Learning (RL) bietet einen prinzipienbasierten Rahmen, um Vision-Language-Modelle (VLMs) bei komplexen Reasoning-Aufgaben zu verbessern. Bisherige RL-Ansätze sind jedoch oft auf von Menschen annotierte Labels oder aufgabenspezifische Heuristiken angewiesen, um überprüfbare Belohnungen zu definieren, was sowohl kostspielig als auch schwer zu skalieren ist. Wir stellen VisPlay vor, einen sich selbst weiterentwickelnden RL-Rahmen, der es VLMs ermöglicht, ihre Reasoning-Fähigkeiten autonom mit großen Mengen ungelabelter Bilddaten zu verbessern. Ausgehend von einem einzigen Basis-VLM weist VisPlay dem Modell zwei interagierende Rollen zu: einen bildbasierten Fragensteller (Image-Conditioned Questioner), der herausfordernde yet beantwortbare visuelle Fragen formuliert, und einen multimodalen Reasoner (Multimodal Reasoner), der silberne Antworten generiert. Diese Rollen werden gemeinsam mit Group Relative Policy Optimization (GRPO) trainiert, das Diversitäts- und Schwierigkeitsbelohnungen integriert, um die Komplexität der generierten Fragen mit der Qualität der silbernen Antworten auszugleichen. VisPlay skaliert effizient über zwei Modellfamilien hinweg. Bei Training mit Qwen2.5-VL und MiMo-VL erzielt VisPlay konsistente Verbesserungen im visuellen Reasoning, in der kompositionellen Generalisierung und bei der Reduzierung von Halluzinationen über acht Benchmarks hinweg, darunter MM-Vet und MMMU, und demonstriert so einen skalierbaren Weg hin zu einer sich selbst entwickelnden multimodalen Intelligenz. Die Projektseite ist unter https://bruno686.github.io/VisPlay/ verfügbar.
English
Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/