TRON: Целевые верифицируемые по правилам онлайн-среды для визуального рассуждения в обучении с подкреплением

Аннотация

Обучение с подкреплением (RL) для визуального мышления требует масштабируемых, верифицируемых и контролируемых обучающих сигналов. Существующее пост-обучение для визуального RL обучается на статических курируемых наборах данных, с фиксированными образцами изображение-вопрос-ответ, ограниченными бюджетом на их сбор. В этой работе мы представляем TRON (Targeted, Rule-verifiable Online eNvironments — целевые, проверяемые по правилам онлайн-среды), основу онлайн-среды: тренировочный прогон генерируется по запросу управляемой программой генератор-верификатор, которая выбирает новое скрытое визуальное состояние, рендерит изображение, задает вопрос и точно верифицирует ответ. Таким образом, один прогон может создавать неограниченный поток новых примеров на уровне сложности, требуемом текущей учебной программой. Текущий набор TRON содержит 520 сред, организованных в пять групп способностей (пространственные, математические, диаграммы, паттерны/логика и счет); та же самая основа поддерживает как единую полную модель, обученную на всех группах, так и модели-специалисты по каждой группе, без дополнительного сбора данных. Мы также вводим анализ основы, охватывающий надежность генерации, разнообразие примеров и уровней, межсредовые квазидубликаты и процент прохождения базовой модели по уровню сложности. Пост-обучение с подкреплением с помощью METHOD последовательно улучшает производительность на десяти внешних мультимодальных бенчмарках рассуждений для Qwen3-VL-4B, Qwen2.5-VL-7B и MiMo-VL-7B-SFT.

English

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.