VisualPuzzles: Разделение оценки мультимодального мышления и предметных знаний

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

Авторы: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

Аннотация

Современные мультимодальные бенчмарки часто смешивают рассуждения с предметно-ориентированными знаниями, что затрудняет изолированную оценку общих способностей к рассуждению в неспециализированных условиях. Чтобы решить эту проблему, мы представляем VisualPuzzles — бенчмарк, ориентированный на визуальное рассуждение и сознательно минимизирующий зависимость от специализированных знаний. VisualPuzzles включает разнообразные вопросы, охватывающие пять категорий: алгоритмическое, аналогическое, дедуктивное, индуктивное и пространственное рассуждение. Одним из основных источников наших вопросов являются вручную переведенные задачи на логическое рассуждение из экзамена для государственной службы Китая. Эксперименты показывают, что VisualPuzzles требует значительно меньше предметно-ориентированных знаний и более сложного рассуждения по сравнению с бенчмарками, такими как MMMU, что позволяет лучше оценить подлинное мультимодальное рассуждение. Оценки демонстрируют, что современные мультимодальные большие языковые модели стабильно отстают от человеческой производительности на VisualPuzzles, а высокая производительность на бенчмарках, ориентированных на знания, не обязательно приводит к успеху на задачах, сфокусированных на рассуждении и требующих минимума знаний. Кроме того, улучшения в рассуждениях, такие как увеличение вычислительных ресурсов для вывода (с использованием "режимов мышления"), дают неоднозначные результаты для разных моделей и типов задач, и мы не наблюдаем четкой корреляции между размером модели и производительностью. Мы также обнаружили, что модели демонстрируют различные паттерны рассуждения и ответов на VisualPuzzles по сравнению с бенчмарками, где акцент больше сделан на знания. VisualPuzzles предлагает более четкую перспективу для оценки способностей к рассуждению, выходящих за рамки запоминания фактов и предметных знаний.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.