TRON: Gezielte regelverifizierbare Online-Umgebungen für visuelles Reasoning RL

Zusammenfassung

Reinforcement Learning (RL) für visuelles Denken benötigt skalierbare, überprüfbare und kontrollierbare Trainingssignale. Bestehendes visuelles RL-Post-Training trainiert auf statischen kuratierten Datensätzen mit festen Bild-Frage-Antwort-Stichproben, deren Umfang durch das Sammlungsbudget begrenzt ist. In dieser Arbeit führen wir TRON (Targeted, Rule-verifiable Online eNvironments) ein, ein Online-Umgebungssubstrat: Ein Trainings-Rollout wird bei Bedarf durch ein steuerbares Generator-Verifizierer-Programm erzeugt, das einen frischen latenten visuellen Zustand abtastet, ein Bild rendert, eine Frage stellt und die Antwort exakt überprüft. Ein einzelner Durchlauf kann daher einen unbegrenzten Strom neuer Instanzen auf dem vom aktuellen Curriculum geforderten Schwierigkeitsgrad liefern. Die aktuelle TRON-Suite umfasst 520 Umgebungen, die in fünf Fähigkeitsbereiche (räumlich, mathematisch, Diagramm, Muster/Logik und Zählen) unterteilt sind; dasselbe Substrat unterstützt sowohl ein einzelnes Vollmodell, das auf allen Bereichen trainiert wird, als auch pro-Bereich fähigkeitsspezialisierte Modelle, ohne dass zusätzliche Datenerhebungen erforderlich sind. Wir führen zudem eine Substratanalyse ein, die Generierungszuverlässigkeit, Instanz- und Levelvielfalt, umgebungsübergreifende Beinahe-Duplikate und die Bestehensrate des Basismodells nach Schwierigkeitsgrad abdeckt. RL-Post-Training mit METHOD verbessert durchgängig die Leistung auf zehn externen multimodalen Denk-Benchmarks mit Qwen3-VL-4B, Qwen2.5-VL-7B und MiMo-VL-7B-SFT.

English

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.