VisualPuzzles: 도메인 지식과 다중모달 추론 평가의 분리

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

저자: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

초록

현재의 다중모달 벤치마크들은 종종 추론 능력과 도메인 특화 지식을 혼동하여, 비전문가 환경에서의 일반적인 추론 능력을 분리하고 평가하기 어렵게 만듭니다. 이를 해결하기 위해, 우리는 시각적 추론을 목표로 하면서도 특수 지식에 대한 의존도를 의도적으로 최소화한 벤치마크인 VisualPuzzles를 소개합니다. VisualPuzzles는 알고리즘적, 유추적, 연역적, 귀납적, 공간적 추론 등 다섯 가지 범주에 걸친 다양한 질문들로 구성되어 있습니다. 우리의 질문 중 상당수는 중국 공무원 시험의 논리적 추론 문제를 수동으로 번역한 것입니다. 실험 결과, VisualPuzzles는 MMMU와 같은 벤치마크에 비해 훨씬 적은 도메인 특화 지식을 요구하면서도 더 복잡한 추론을 필요로 하여, 진정한 다중모달 추론 능력을 더 잘 평가할 수 있음을 보여줍니다. 평가 결과, 최첨단 다중모달 대형 언어 모델들은 VisualPuzzles에서 인간의 성능에 지속적으로 뒤처지는 것으로 나타났으며, 지식 집약적 벤치마크에서의 강력한 성능이 반드시 추론 중심의 지식 경량화 작업에서의 성공으로 이어지지는 않음을 확인했습니다. 또한, 추론 향상 기법(예: "생각" 모드를 통한 추론 계산 확장)은 모델과 작업 유형에 따라 일관되지 않은 성능 향상을 보였으며, 모델 크기와 성능 간의 명확한 상관관계는 관찰되지 않았습니다. 또한, 모델들은 VisualPuzzles에서 지식에 더 중점을 둔 벤치마크와는 다른 추론 및 답변 패턴을 보이는 것으로 나타났습니다. VisualPuzzles는 사실 기억과 도메인 지식을 넘어서는 추론 능력을 평가할 수 있는 더 명확한 렌즈를 제공합니다.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.