SynthRL: Масштабирование визуального анализа с использованием проверяемого синтеза данных

SynthRL: Scaling Visual Reasoning with Verifiable Data Synthesis

June 2, 2025

Авторы: Zijian Wu, Jinjie Ni, Xiangyan Liu, Zichen Liu, Hang Yan, Michael Qizhe Shieh

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), обученные с использованием обучения с подкреплением и проверяемой наградой (Reinforcement Learning with Verifiable Reward, RLVR), продемонстрировали значительный прогресс в эффективном масштабировании вычислительных ресурсов на этапе тестирования. В данной работе мы исследуем, как синтезированные данные RL могут дополнительно улучшить RLVR. С этой целью мы предлагаем SynthRL — масштабируемый и гарантированный конвейер для автоматического увеличения объема данных в обучении с подкреплением, ориентированном на рассуждения. SynthRL состоит из трех ключевых этапов: (1) выбор исходных вопросов с подходящим распределением, (2) их преобразование в более сложные варианты с сохранением исходных ответов и (3) этап гарантированной проверки, обеспечивающий почти идеальную корректность и повышение сложности. Наши эмпирические эксперименты демонстрируют масштабируемость и эффективность SynthRL. При применении к набору данных MMK12 SynthRL синтезирует более 3,3 тысяч дополнительных проверяемых и сложных вопросов из примерно 8 тысяч исходных образцов. Модели, обученные на наших синтезированных данных, показывают стабильное улучшение на пяти внешних наборах данных для визуального математического рассуждения, значительно превосходя базовые модели, обученные только на исходных данных. Примечательно, что детальный анализ показывает, что улучшения наиболее заметны на самых сложных тестовых образцах, что подчеркивает эффективность SynthRL в стимулировании более глубоких и сложных паттернов рассуждения.

English

Vision-language models (VLMs) trained via reinforcement learning with verifiable reward (RLVR) have shown notable progress in scaling test-time compute effectively. In this work, we investigate how synthesized RL data can further improve RLVR. To this end, we propose SynthRL-a scalable and guaranteed pipeline for automatic data scaling in reasoning-oriented RL training. SynthRL comprises three key stages: (1) selecting seed questions with appropriate distribution, (2) augmenting them into more challenging variants while preserving the original answers, and (3) a guaranteed verification stage that ensures near-perfect correctness and difficulty enhancement. Our empirical experiments demonstrate SynthRL's scalability and effectiveness. When applied to the MMK12 dataset, SynthRL synthesizes over 3.3K additional verifiable, challenging questions from approximately 8K seed samples. Models trained with our synthesized data achieve consistent gains across five out-of-domain visual math reasoning benchmarks, with a significant improvement over baseline models trained on seed data alone. Notably, detailed analysis reveals that the gains are more pronounced on the most challenging evaluation samples, highlighting SynthRL's effectiveness in eliciting deeper and more complex reasoning patterns.