SynthRL: Schaalbaar visueel redeneren met verifieerbare datasynthese

SynthRL: Scaling Visual Reasoning with Verifiable Data Synthesis

June 2, 2025

Auteurs: Zijian Wu, Jinjie Ni, Xiangyan Liu, Zichen Liu, Hang Yan, Michael Qizhe Shieh

cs.AI

Samenvatting

Vision-language models (VLMs) die zijn getraind via reinforcement learning met verifieerbare beloning (RLVR) hebben aanzienlijke vooruitgang geboekt in het effectief schalen van rekenkracht tijdens testen. In dit werk onderzoeken we hoe gesynthetiseerde RL-gegevens RLVR verder kunnen verbeteren. Hiertoe stellen we SynthRL voor: een schaalbare en gegarandeerde pijplijn voor automatische gegevensschaling in redeneergerichte RL-training. SynthRL bestaat uit drie belangrijke fasen: (1) het selecteren van startvragen met een geschikte verdeling, (2) het uitbreiden ervan naar meer uitdagende varianten terwijl de oorspronkelijke antwoorden behouden blijven, en (3) een gegarandeerde verificatiefase die bijna perfecte correctheid en moeilijkheidsverhoging waarborgt. Onze empirische experimenten tonen de schaalbaarheid en effectiviteit van SynthRL aan. Wanneer toegepast op de MMK12-dataset, synthetiseert SynthRL meer dan 3.3K aanvullende verifieerbare, uitdagende vragen uit ongeveer 8K startvoorbeelden. Modellen die zijn getraind met onze gesynthetiseerde gegevens behalen consistente verbeteringen op vijf out-of-domain visuele wiskundige redeneerbenchmarks, met een significante verbetering ten opzichte van basismodellen die alleen op startgegevens zijn getraind. Opvallend is dat gedetailleerde analyse aantoont dat de verbeteringen meer uitgesproken zijn op de meest uitdagende evaluatievoorbeelden, wat de effectiviteit van SynthRL benadrukt in het uitlokken van diepere en complexere redeneerpatronen.

English

Vision-language models (VLMs) trained via reinforcement learning with verifiable reward (RLVR) have shown notable progress in scaling test-time compute effectively. In this work, we investigate how synthesized RL data can further improve RLVR. To this end, we propose SynthRL-a scalable and guaranteed pipeline for automatic data scaling in reasoning-oriented RL training. SynthRL comprises three key stages: (1) selecting seed questions with appropriate distribution, (2) augmenting them into more challenging variants while preserving the original answers, and (3) a guaranteed verification stage that ensures near-perfect correctness and difficulty enhancement. Our empirical experiments demonstrate SynthRL's scalability and effectiveness. When applied to the MMK12 dataset, SynthRL synthesizes over 3.3K additional verifiable, challenging questions from approximately 8K seed samples. Models trained with our synthesized data achieve consistent gains across five out-of-domain visual math reasoning benchmarks, with a significant improvement over baseline models trained on seed data alone. Notably, detailed analysis reveals that the gains are more pronounced on the most challenging evaluation samples, highlighting SynthRL's effectiveness in eliciting deeper and more complex reasoning patterns.