VisualPuzzles: Ontkoppeling van Multimodale Redeneerevaluatie van Domeinkennis

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

Auteurs: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

Samenvatting

Huidige multimodale benchmarks verwarren vaak redeneren met domeinspecifieke kennis, waardoor het moeilijk is om algemene redeneervaardigheden in niet-expertsettings te isoleren en te evalueren. Om dit aan te pakken, introduceren we VisualPuzzles, een benchmark die zich richt op visueel redeneren en bewust de afhankelijkheid van gespecialiseerde kennis minimaliseert. VisualPuzzles bestaat uit diverse vragen die vijf categorieën omvatten: algoritmisch, analoog, deductief, inductief en ruimtelijk redeneren. Een belangrijke bron van onze vragen zijn handmatig vertaalde logische redeneervragen uit het Chinese ambtenarenexamen. Experimenten tonen aan dat VisualPuzzles aanzienlijk minder intensieve domeinspecifieke kennis en complexer redeneren vereist in vergelijking met benchmarks zoals MMMU, waardoor we authentiek multimodaal redeneren beter kunnen evalueren. Evaluaties laten zien dat state-of-the-art multimodale grote taalmodellen consistent achterblijven bij menselijke prestaties op VisualPuzzles, en dat sterke prestaties op kennisintensieve benchmarks niet noodzakelijk vertalen naar succes op redeneringsgerichte, kennisarme taken. Daarnaast leveren redeneringsverbeteringen, zoals het opschalen van rekencapaciteit tijdens inferentie (met "denk"modi), inconsistente winsten op tussen modellen en taaktypen, en we observeren geen duidelijke correlatie tussen modelgrootte en prestaties. We ontdekten ook dat modellen verschillende redeneer- en antwoordpatronen vertonen op VisualPuzzles in vergelijking met benchmarks die meer nadruk leggen op kennis. VisualPuzzles biedt een duidelijker lens om redeneervaardigheden te evalueren die verder gaan dan feitelijke herinnering en domeinkennis.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.