SPHINX: Синтетическая среда для визуального восприятия и логического вывода
SPHINX: A Synthetic Environment for Visual Perception and Reasoning
November 25, 2025
Авторы: Md Tanvirul Alam, Saksham Aggarwal, Justin Yang Chae, Nidhi Rastogi
cs.AI
Аннотация
Мы представляем Sphinx — синтетическую среду для визуального восприятия и логического вывода, ориентированную на базовые когнитивные примитивы. Sphinx процедурно генерирует головоломки с использованием мотивов, плиток, диаграмм, иконок и геометрических примитивов, каждая из которых снабжена верифицируемыми эталонными решениями, что позволяет проводить точную оценку и создавать масштабные наборы данных. Бенчмарк охватывает 25 типов задач, включая обнаружение симметрии, геометрические преобразования, пространственные рассуждения, интерпретацию диаграмм и прогнозирование последовательностей. Оценка современных больших визуально-языковых моделей (LVLM) показывает, что даже передовая модель GPT-5 достигает точности лишь 51,1%, что значительно ниже человеческих показателей. Наконец, мы демонстрируем, что обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) существенно повышает точность моделей на этих задачах и обеспечивает улучшение результатов на внешних бенчмарках визуального мышления, подчеркивая его потенциал для развития мультимодальных рассуждений.
English
We present Sphinx, a synthetic environment for visual perception and reasoning that targets core cognitive primitives. Sphinx procedurally generates puzzles using motifs, tiles, charts, icons, and geometric primitives, each paired with verifiable ground-truth solutions, enabling both precise evaluation and large-scale dataset construction. The benchmark covers 25 task types spanning symmetry detection, geometric transformations, spatial reasoning, chart interpretation, and sequence prediction. Evaluating recent large vision-language models (LVLMs) shows that even state-of-the-art GPT-5 attains only 51.1% accuracy, well below human performance. Finally, we demonstrate that reinforcement learning with verifiable rewards (RLVR) substantially improves model accuracy on these tasks and yields gains on external visual reasoning benchmarks, highlighting its promise for advancing multimodal reasoning.