VisPlay: 画像からの自己進化型視覚言語モデル

要旨

強化学習（RL）は、複雑な推論タスクにおいてVision-Languageモデル（VLM）を改善するための原理的な枠組みを提供する。しかし、既存のRL手法では検証可能な報酬を定義するために、人的に注釈付けされたラベルやタスク固有のヒューリスティクスに依存することが多く、いずれもコストが高くスケーリングが困難である。本論文では、大規模な未ラベル画像データを用いてVLMが自律的に推論能力を向上させる自己進化型RLフレームワーク「VisPlay」を提案する。単一のベースVLMから開始し、VisPlayはモデルを2つの相互作用する役割に割り当てる：挑戦的でありながら回答可能な視覚的質問を策定する「画像条件付き質問者」と、シルバー回答を生成する「マルチモーダル推論者」である。これらの役割は、生成される質問の複雑性とシルバー回答の質のバランスを取るために多様性と難易度の報酬を組み込んだGroup Relative Policy Optimization（GRPO）を用いて共同で訓練される。VisPlayは2つのモデルファミリーで効率的にスケーリングする。Qwen2.5-VLおよびMiMo-VLで訓練した場合、VisPlayはMM-VetやMMMUを含む8つのベンチマークにおいて、視覚推論、合成的汎化、幻覚抑制において一貫した改善を達成し、自己進化型マルチモーダル知能へのスケーラブルな道筋を示す。プロジェクトページはhttps://bruno686.github.io/VisPlay/で公開されている。

English

Reinforcement learning (RL) provides a principled framework for improving Vision-Language Models (VLMs) on complex reasoning tasks. However, existing RL approaches often rely on human-annotated labels or task-specific heuristics to define verifiable rewards, both of which are costly and difficult to scale. We introduce VisPlay, a self-evolving RL framework that enables VLMs to autonomously improve their reasoning abilities using large amounts of unlabeled image data. Starting from a single base VLM, VisPlay assigns the model into two interacting roles: an Image-Conditioned Questioner that formulates challenging yet answerable visual questions, and a Multimodal Reasoner that generates silver responses. These roles are jointly trained with Group Relative Policy Optimization (GRPO), which incorporates diversity and difficulty rewards to balance the complexity of generated questions with the quality of the silver answers. VisPlay scales efficiently across two model families. When trained on Qwen2.5-VL and MiMo-VL, VisPlay achieves consistent improvements in visual reasoning, compositional generalization, and hallucination reduction across eight benchmarks, including MM-Vet and MMMU, demonstrating a scalable path toward self-evolving multimodal intelligence. The project page is available at https://bruno686.github.io/VisPlay/

VisPlay: 画像からの自己進化型視覚言語モデル

VisPlay: Self-Evolving Vision-Language Models from Images

要旨

Support