Vero: открытый рецепт обучения с подкреплением для решения задач общего визуального мышления

Vero: An Open RL Recipe for General Visual Reasoning

April 6, 2026

Авторы: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

cs.AI

Аннотация

Что требуется для создания системы визуального мышления, способной работать с диаграммами, научными данными, пространственным пониманием и задачами открытого типа? Лучшие модели визуально-языкового взаимодействия (VLM) демонстрируют, что столь широкое визуальное мышление достижимо, однако конкретная методология их создания остаётся неясной, скрытой за проприетарными конвейерами обучения с подкреплением (RL) с использованием недоступных данных. Мы представляем Vero — семейство полностью открытых VLM, которые соответствуют или превосходят существующие открытые модели в разнообразных задачах визуального мышления. Мы масштабируем данные и функции вознаграждения RL по шести широким категориям задач, создавая Vero-600K — набор данных объёмом 600 тысяч примеров из 59 источников, и разрабатывая маршрутизируемые奖励, которые обрабатывают гетерогенные форматы ответов. Vero достигает передовых результатов, улучшая показатели четырёх базовых моделей на 3.7–5.5 пункта в среднем по VeroEval, нашему набору из 30 сложных тестов. Начиная с Qwen3-VL-8B-Instruct, Vero превосходит Qwen3-VL-8B-Thinking в 23 из 30 тестов без использования дополнительных проприетарных данных для мышления. При обучении на одной базовой модели Vero-600K превосходит существующие наборы данных RL во всех категориях задач. Систематические ablation-исследования показывают, что разные категории задач вызывают качественно различные паттерны мышления, которые плохо переносятся изолированно, что указывает на охват широкого спектра данных как основной драйвер эффективного масштабирования RL. Все данные, код и модели опубликованы.

English

What does it take to build a visual reasoner that works across charts, science, spatial understanding, and open-ended tasks? The strongest vision-language models (VLMs) show such broad visual reasoning is within reach, but the recipe behind them remains unclear, locked behind proprietary reinforcement learning (RL) pipelines with non-public data. We introduce Vero, a family of fully open VLMs that matches or exceeds existing open-weight models across diverse visual reasoning tasks. We scale RL data and rewards across six broad task categories, constructing Vero-600K, a 600K-sample dataset from 59 datasets, and designing task-routed rewards that handle heterogeneous answer formats. Vero achieves state-of-the-art performance, improving over four base models by 3.7-5.5 points on average across VeroEval, our suite of 30 challenging benchmarks. Starting from Qwen3-VL-8B-Instruct, Vero outperforms Qwen3-VL-8B-Thinking on 23 of 30 benchmarks without additional proprietary thinking data. When trained from the same base model, Vero-600K exceeds existing RL datasets across task categories. Systematic ablations reveal that different task categories elicit qualitatively distinct reasoning patterns that transfer poorly in isolation, suggesting that broad data coverage is the primary driver of strong RL scaling. All data, code, and models are released.