SynthRL: Skalierung visueller Schlussfolgerungen durch verifizierbare Datensynthese

SynthRL: Scaling Visual Reasoning with Verifiable Data Synthesis

June 2, 2025

Autoren: Zijian Wu, Jinjie Ni, Xiangyan Liu, Zichen Liu, Hang Yan, Michael Qizhe Shieh

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs), die durch Reinforcement Learning mit verifizierbarer Belohnung (RLVR) trainiert werden, haben bemerkenswerte Fortschritte bei der effektiven Skalierung der Rechenleistung zur Testzeit gezeigt. In dieser Arbeit untersuchen wir, wie synthetisierte RL-Daten RLVR weiter verbessern können. Zu diesem Zweck schlagen wir SynthRL vor – eine skalierbare und garantierte Pipeline zur automatischen Datenskalierung im reasoning-orientierten RL-Training. SynthRL umfasst drei Schlüsselphasen: (1) die Auswahl von Ausgangsfragen mit geeigneter Verteilung, (2) deren Erweiterung zu anspruchsvolleren Varianten unter Beibehaltung der ursprünglichen Antworten und (3) eine garantierte Verifizierungsphase, die nahezu perfekte Korrektheit und eine Steigerung der Schwierigkeit sicherstellt. Unsere empirischen Experimente demonstrieren die Skalierbarkeit und Effektivität von SynthRL. Bei Anwendung auf den MMK12-Datensatz synthetisiert SynthRL über 3.300 zusätzliche verifizierbare, anspruchsvolle Fragen aus etwa 8.000 Ausgangsbeispielen. Modelle, die mit unseren synthetisierten Daten trainiert werden, erzielen konsistente Verbesserungen in fünf out-of-domain Benchmarks für visuelles mathematisches Reasoning, mit einer signifikanten Steigerung gegenüber Baseline-Modellen, die nur mit Ausgangsdaten trainiert wurden. Insbesondere zeigt eine detaillierte Analyse, dass die Verbesserungen bei den anspruchsvollsten Evaluierungsbeispielen deutlicher ausfallen, was die Effektivität von SynthRL bei der Förderung tieferer und komplexerer Reasoning-Muster unterstreicht.

English

Vision-language models (VLMs) trained via reinforcement learning with verifiable reward (RLVR) have shown notable progress in scaling test-time compute effectively. In this work, we investigate how synthesized RL data can further improve RLVR. To this end, we propose SynthRL-a scalable and guaranteed pipeline for automatic data scaling in reasoning-oriented RL training. SynthRL comprises three key stages: (1) selecting seed questions with appropriate distribution, (2) augmenting them into more challenging variants while preserving the original answers, and (3) a guaranteed verification stage that ensures near-perfect correctness and difficulty enhancement. Our empirical experiments demonstrate SynthRL's scalability and effectiveness. When applied to the MMK12 dataset, SynthRL synthesizes over 3.3K additional verifiable, challenging questions from approximately 8K seed samples. Models trained with our synthesized data achieve consistent gains across five out-of-domain visual math reasoning benchmarks, with a significant improvement over baseline models trained on seed data alone. Notably, detailed analysis reveals that the gains are more pronounced on the most challenging evaluation samples, highlighting SynthRL's effectiveness in eliciting deeper and more complex reasoning patterns.