VisualSphinx: Grootschalige synthetische visuele logische puzzels voor RL

VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

May 29, 2025

Auteurs: Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Samenvatting

Vision language models (VLMs) worden verwacht effectieve multimodale redenering uit te voeren en logisch coherente beslissingen te nemen, wat cruciaal is voor taken zoals diagraminterpretatie en ruimtelijk probleemoplossen. Huidige VLM-redenering heeft echter een gebrek aan grootschalige en goed gestructureerde trainingsdatasets. Om deze kloof te overbruggen, stellen we VisualSphinx voor, een eerste in zijn soort grootschalige synthetische visuele logische redeneringstraindata. Om de uitdaging van beeldgeneratie met gegronde antwoorden aan te pakken, stellen we een regel-naar-beeld synthesepijplijn voor, die puzzelregels uit startvragen extraheert en uitbreidt, en de code genereert voor gegronde beeldgeneratie voor de samenstelling van puzzelvoorbeelden. Experimenten tonen aan dat VLMs die zijn getraind met GRPO op VisualSphinx profiteren van de logische coherentie en leesbaarheid van onze dataset en verbeterde prestaties vertonen bij logische redeneertaken. De verbeterde redeneervaardigheden die zijn ontwikkeld met VisualSphinx, komen ook ten goede aan andere redeneertaken zoals algebraïsch redeneren, rekenkundig redeneren en geometrisch redeneren.

English

Vision language models (VLMs) are expected to perform effective multimodal reasoning and make logically coherent decisions, which is critical to tasks such as diagram understanding and spatial problem solving. However, current VLM reasoning lacks large-scale and well-structured training datasets. To bridge this gap, we propose VisualSphinx, a first-of-its-kind large-scale synthetic visual logical reasoning training data. To tackle the challenge of image synthesis with grounding answers, we propose a rule-to-image synthesis pipeline, which extracts and expands puzzle rules from seed questions and generates the code of grounding synthesis image synthesis for puzzle sample assembly. Experiments demonstrate that VLM trained using GRPO on VisualSphinx benefit from logical coherence and readability of our dataset and exhibit improved performance on logical reasoning tasks. The enhanced reasoning capabilities developed from VisualSphinx also benefit other reasoning tasks such as algebraic reasoning, arithmetic reasoning and geometry reasoning.