TRON: 視覚推論RLのための標的ルール検証可能なオンライン環境

要旨

視覚推論のための強化学習（RL）は、スケーラブルで検証可能かつ制御可能な訓練信号を必要とする。既存の視覚RLポストトレーニングは、静的なキュレーションデータセットで訓練を行い、固定された画像-質問-回答サンプルは収集予算によって制限されている。本研究では、TRON（Targeted, Rule-verifiable Online eNvironments：対象指定型・ルール検証可能なオンライン環境基盤）を導入する。これは、制御可能な生成・検証プログラムが新しい潜在視覚状態をサンプリングし、画像をレンダリングし、質問を出し、回答を正確に検証することにより、トレーニングロールアウトをオンデマンドで生成するオンライン環境基盤である。したがって、単一の実行で、現在のカリキュラムに必要な難易度の新しいインスタンスを無限に生成することができる。現在のTRONスイートは、5つの能力バケット（空間、数学、図表、パターン/論理、計数）に編成された520の環境を含む。この同じ基盤により、全バケットで訓練された単一のフルモデルと、バケットごとの能力特化モデルの両方が、追加のデータ収集なしでサポートされる。また、生成信頼性、インスタンスとレベルの多様性、環境間の類似重複、難易度別のベースモデル正解率をカバーする基盤分析も紹介する。METHODを用いたRLポストトレーニングは、Qwen3-VL-4B、Qwen2.5-VL-7B、MiMo-VL-7B-SFTにおいて、10の外部マルチモーダル推論ベンチマークで一貫して性能を向上させる。

English

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.