TRON : Environnements en ligne vérifiables par règles ciblées pour le RL du raisonnement visuel

Résumé

L'apprentissage par renforcement (RL) pour le raisonnement visuel nécessite des signaux d'entraînement évolutifs, vérifiables et contrôlables. Le post-entraînement RL visuel existant s'entraîne sur des ensembles de données statiques organisés, avec des échantillons fixes image-question-réponse limités par leur budget de collecte. Dans ce travail, nous introduisons TRON (Targeted, Rule-verifiable Online eNvironments), un substrat d'environnement en ligne : un déroulement d'entraînement est généré à la demande par un programme générateur-vérificateur contrôlable qui échantillonne un état visuel latent frais, génère une image, pose une question et vérifie exactement la réponse. Une seule exécution peut ainsi produire un flux illimité de nouvelles instances au niveau de difficulté requis par le programme d'apprentissage en cours. La suite TRON actuelle contient 520 environnements organisés en cinq catégories de compétences (spatiales, mathématiques, diagrammes, motifs/logique et comptage) ; le même substrat prend en charge à la fois un modèle complet unique entraîné sur toutes les catégories et des modèles spécialisés par catégorie de compétence, sans collecte de données supplémentaire. Nous introduisons également une analyse du substrat couvrant la fiabilité de génération, la diversité des instances et des niveaux, les quasi-doublons entre environnements, et le taux de réussite du modèle de base par niveau de difficulté. Le post-entraînement RL avec METHOD améliore constamment les performances sur dix benchmarks externes de raisonnement multimodal pour Qwen3-VL-4B, Qwen2.5-VL-7B et MiMo-VL-7B-SFT.

English

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.