VisPlay : Modèles vision-langage auto-évolutifs à partir d'images
VisPlay: Self-Evolving Vision-Language Models from Images
November 19, 2025
papers.authors: Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang
cs.AI
papers.abstract
L'apprentissage par renforcement (RL) fournit un cadre théorique pour améliorer les modèles vision-langage (VLM) sur des tâches de raisonnement complexes. Cependant, les approches RL existantes reposent souvent sur des annotations humaines ou des heuristiques spécifiques aux tâches pour définir des récompenses vérifiables, deux méthodes coûteuses et difficiles à généraliser. Nous présentons VisPlay, un cadre RL auto-évolutif qui permet aux VLM d'améliorer de manière autonome leurs capacités de raisonnement en utilisant de grandes quantités de données image non labellisées. En partant d'un seul VLM de base, VisPlay assigne au modèle deux rôles interactifs : un Questionneur Conditionné par l'Image qui formule des questions visuelles difficiles mais solubles, et un Raisonneur Multimodal qui génère des réponses dites "argentées". Ces rôles sont entraînés conjointement avec l'Optimisation de Politique Relative par Groupe (GRPO), qui intègre des récompenses basées sur la diversité et la difficulté pour équilibrer la complexité des questions générées avec la qualité des réponses argentées. VisPlay s'adapte efficacement à deux familles de modèles. Entraîné sur Qwen2.5-VL et MiMo-VL, VisPlay obtient des améliorations constantes en raisonnement visuel, généralisation compositionnelle et réduction des hallucinations sur huit benchmarks, incluant MM-Vet et MMMU, démontrant une voie évolutive vers une intelligence multimodale auto-optimisée. La page du projet est disponible à l'adresse https://bruno686.github.io/VisPlay/
English
Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/