トレース: 分類学に基づくマルチドメイン視覚推論のための環境

要旨

検証可能な報酬を用いた強化学習（RLVR）は、言語モデルの推論を大幅に改善してきたが、視覚言語モデルへの拡張は、広範かつ厳密に検証可能で再現性のあるトレーニングデータが不足しているため、依然として制約を受けている。本稿では、マルチドメイン視覚推論のための分類学に基づく環境であるTraceを導入する。Traceは、タスク構築をシーングラマーと実行可能なタスクプログラムに分解し、視覚的実現と回答計算を分離する。共有された意味状態が、レンダリング画像、プロンプト、型付き回答、検証器状態、および再生可能なインスタンストレースを決定する。結果として得られる環境は、277のシーングラマーと11の視覚ドメインにわたる1,000のタスクで構成され、制御された意味的・視覚的バリエーションを備える。64,000のTraceインスタンスに対するRLVRにより、24の外部ベンチマークにわたるマクロ平均が、Qwen2.5-VL-3Bでは3.51パーセンテージポイント、Qwen2.5-VL-7Bでは4.06ポイント向上し、広範な手続き的学習が生成されたタスク分布を超えて転移可能であることを示す証拠が得られた。プロジェクトページ：https://maveryn.github.io/trace/。

English

Reinforcement learning with verifiable rewards (RLVR) has substantially improved language-model reasoning, yet its extension to vision-language models remains constrained by the lack of training data that are simultaneously broad, exactly verifiable, and reproducible. We introduce Trace, a taxonomy-guided environment for multidomain visual reasoning. Trace factorizes task construction into a scene grammar and an executable task program, separating visual realization from answer computation. A shared semantic state determines the rendered image, prompt, typed answer, verifier state, and replayable instance trace. The resulting environment comprises 1,000 tasks over 277 scene grammars and 11 visual domains, with controlled semantic and visual variation. RLVR on 64,000 Trace instances improves the macro-average across 24 external benchmarks by 3.51 percentage points for Qwen2.5-VL-3B and 4.06 points for Qwen2.5-VL-7B, providing evidence that broad procedural training can transfer beyond the generated task distributions. Project page: https://maveryn.github.io/trace/.