Trace: 분류 체계 기반의 다중 도메인 시각적 추론 환경

초록

검증 가능한 보상 기반 강화 학습(RLVR)은 언어 모델 추론을 크게 개선했지만, 비전-언어 모델로의 확장은 광범위하면서도 정확히 검증 가능하고 재현 가능한 훈련 데이터의 부족으로 인해 제약을 받고 있다. 본 연구에서는 다중 도메인 시각적 추론을 위한 분류 체계 기반 환경인 Trace를 소개한다. Trace는 작업 구성을 장면 문법(scene grammar)과 실행 가능한 작업 프로그램(executable task program)으로 분해하여 시각적 구현과 정답 계산을 분리한다. 공유 의미 상태(shared semantic state)는 렌더링된 이미지, 프롬프트, 유형화된 정답, 검증기 상태, 재생 가능한 인스턴스 추적을 결정한다. 결과적으로 생성된 환경은 277개의 장면 문법과 11개의 시각적 도메인에 걸쳐 1,000개의 작업으로 구성되며, 통제된 의미적 및 시각적 변형을 포함한다. 64,000개의 Trace 인스턴스에 대한 RLVR은 Qwen2.5-VL-3B에서 24개 외부 벤치마크 전체의 매크로 평균을 3.51%포인트, Qwen2.5-VL-7B에서 4.06%포인트 향상시켜, 광범위한 절차적 훈련이 생성된 작업 분포를 넘어 전이될 수 있다는 증거를 제공한다. 프로젝트 페이지: https://maveryn.github.io/trace/.

English

Reinforcement learning with verifiable rewards (RLVR) has substantially improved language-model reasoning, yet its extension to vision-language models remains constrained by the lack of training data that are simultaneously broad, exactly verifiable, and reproducible. We introduce Trace, a taxonomy-guided environment for multidomain visual reasoning. Trace factorizes task construction into a scene grammar and an executable task program, separating visual realization from answer computation. A shared semantic state determines the rendered image, prompt, typed answer, verifier state, and replayable instance trace. The resulting environment comprises 1,000 tasks over 277 scene grammars and 11 visual domains, with controlled semantic and visual variation. RLVR on 64,000 Trace instances improves the macro-average across 24 external benchmarks by 3.51 percentage points for Qwen2.5-VL-3B and 4.06 points for Qwen2.5-VL-7B, providing evidence that broad procedural training can transfer beyond the generated task distributions. Project page: https://maveryn.github.io/trace/.