VisPlay: Modelos de Visión y Lenguaje de Auto-evolución a partir de Imágenes
VisPlay: Self-Evolving Vision-Language Models from Images
November 19, 2025
Autores: Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang
cs.AI
Resumen
El aprendizaje por refuerzo (RL) proporciona un marco de principios para mejorar los Modelos de Lenguaje-Visión (VLMs) en tareas de razonamiento complejo. Sin embargo, los enfoques de RL existentes a menudo dependen de etiquetas anotadas por humanos o heurísticas específicas de la tarea para definir recompensas verificables, ambas costosas y difíciles de escalar. Presentamos VisPlay, un marco de RL de auto-evolución que permite a los VLMs mejorar autónomamente sus capacidades de razonamiento utilizando grandes cantidades de datos de imagen sin etiquetar. Partiendo de un único VLM base, VisPlay asigna al modelo dos roles interactuantes: un Cuestionador Condicionado por Imagen que formula preguntas visuales desafiantes pero respondibles, y un Razonador Multimodal que genera respuestas plateadas (silver). Estos roles se entrenan conjuntamente con la Optimización de Políticas Relativas de Grupo (GRPO), que incorpora recompensas de diversidad y dificultad para equilibrar la complejidad de las preguntas generadas con la calidad de las respuestas plateadas. VisPlay escala eficientemente en dos familias de modelos. Cuando se entrena con Qwen2.5-VL y MiMo-VL, VisPlay logra mejoras consistentes en razonamiento visual, generalización composicional y reducción de alucinaciones en ocho benchmarks, incluyendo MM-Vet y MMMU, demostrando un camino escalable hacia una inteligencia multimodal auto-evolutiva. La página del proyecto está disponible en https://bruno686.github.io/VisPlay/.
English
Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/