TRON: Entornos en línea verificables por reglas dirigidos al razonamiento visual con RL

Resumen

El aprendizaje por refuerzo (RL) para razonamiento visual necesita señales de entrenamiento escalables, verificables y controlables. El post-entrenamiento visual con RL existente se entrena en conjuntos de datos curados estáticos, con muestras fijas de imagen-pregunta-respuesta limitadas por su presupuesto de recolección. En este trabajo, introducimos TRON (Targeted, Rule-verifiable Online eNvironments), un sustrato de entorno en línea: una trayectoria de entrenamiento se genera bajo demanda mediante un programa generador-verificador controlable que muestrea un nuevo estado visual latente, renderiza una imagen, formula una pregunta y verifica exactamente la respuesta. Por lo tanto, una sola ejecución puede generar un flujo ilimitado de instancias nuevas al nivel de dificultad requerido por el currículo actual. El conjunto actual de TRON contiene 520 entornos organizados en cinco categorías de habilidades (espacial, matemática, diagramas, patrones/lógica y conteo); el mismo sustrato admite tanto un modelo completo entrenado en todas las categorías como modelos especializados por categoría, sin necesidad de recolección adicional de datos. También presentamos un análisis del sustrato que cubre la fiabilidad de generación, la diversidad de instancias y niveles, los casi duplicados entre entornos y la tasa de aprobación del modelo base por nivel de dificultad. El post-entrenamiento con RL usando METHOD mejora consistentemente el rendimiento en diez puntos de referencia externos de razonamiento multimodal en Qwen3-VL-4B, Qwen2.5-VL-7B y MiMo-VL-7B-SFT.

English

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.