VisualSphinx: Масштабные синтетические визуально-логические головоломки для обучения с подкреплением

VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

May 29, 2025

Авторы: Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Аннотация

Модели обработки визуальной информации и языка (VLMs) должны эффективно выполнять мультимодальные рассуждения и принимать логически последовательные решения, что крайне важно для таких задач, как понимание диаграмм и решение пространственных задач. Однако текущие VLMs испытывают недостаток в крупномасштабных и хорошо структурированных наборах данных для обучения. Чтобы устранить этот пробел, мы предлагаем VisualSphinx — первый в своем роде крупномасштабный синтетический набор данных для обучения визуальному логическому рассуждению. Для решения задачи синтеза изображений с привязкой к ответам мы предлагаем конвейер синтеза изображений на основе правил, который извлекает и расширяет правила головоломок из исходных вопросов и генерирует код для синтеза изображений с привязкой к ответам для сборки образцов головоломок. Эксперименты показывают, что VLMs, обученные с использованием GRPO на VisualSphinx, выигрывают от логической последовательности и читаемости нашего набора данных и демонстрируют улучшенную производительность в задачах логического рассуждения. Улучшенные способности к рассуждению, развитые с помощью VisualSphinx, также способствуют решению других задач, таких как алгебраическое, арифметическое и геометрическое рассуждение.

English

Vision language models (VLMs) are expected to perform effective multimodal reasoning and make logically coherent decisions, which is critical to tasks such as diagram understanding and spatial problem solving. However, current VLM reasoning lacks large-scale and well-structured training datasets. To bridge this gap, we propose VisualSphinx, a first-of-its-kind large-scale synthetic visual logical reasoning training data. To tackle the challenge of image synthesis with grounding answers, we propose a rule-to-image synthesis pipeline, which extracts and expands puzzle rules from seed questions and generates the code of grounding synthesis image synthesis for puzzle sample assembly. Experiments demonstrate that VLM trained using GRPO on VisualSphinx benefit from logical coherence and readability of our dataset and exhibit improved performance on logical reasoning tasks. The enhanced reasoning capabilities developed from VisualSphinx also benefit other reasoning tasks such as algebraic reasoning, arithmetic reasoning and geometry reasoning.