VisualPuzzles : Découpler l'évaluation du raisonnement multimodal des connaissances spécifiques au domaine

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

Auteurs: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

Résumé

Les benchmarks multimodaux actuels confondent souvent le raisonnement avec les connaissances spécifiques à un domaine, rendant difficile l'isolation et l'évaluation des capacités de raisonnement général dans des contextes non experts. Pour remédier à cela, nous introduisons VisualPuzzles, un benchmark qui cible le raisonnement visuel tout en minimisant délibérément la dépendance aux connaissances spécialisées. VisualPuzzles se compose de questions variées couvrant cinq catégories : raisonnement algorithmique, analogique, déductif, inductif et spatial. Une source majeure de nos questions provient de la traduction manuelle de questions de raisonnement logique issues de l'examen de la fonction publique chinoise. Les expériences montrent que VisualPuzzles nécessite significativement moins de connaissances spécifiques à un domaine et un raisonnement plus complexe par rapport à des benchmarks comme MMMU, nous permettant ainsi de mieux évaluer le raisonnement multimodal authentique. Les évaluations montrent que les modèles de langage multimodaux de pointe sont systématiquement en retard par rapport aux performances humaines sur VisualPuzzles, et qu'une performance élevée sur des benchmarks axés sur les connaissances ne se traduit pas nécessairement par un succès sur des tâches centrées sur le raisonnement et légères en connaissances. De plus, les améliorations de raisonnement telles que l'augmentation de la puissance de calcul pour l'inférence (avec des modes de "réflexion") produisent des gains incohérents selon les modèles et les types de tâches, et nous n'observons aucune corrélation claire entre la taille du modèle et la performance. Nous avons également constaté que les modèles présentent des schémas de raisonnement et de réponse différents sur VisualPuzzles par rapport à des benchmarks mettant davantage l'accent sur les connaissances. VisualPuzzles offre une perspective plus claire pour évaluer les capacités de raisonnement au-delà de la mémorisation de faits et des connaissances spécifiques à un domaine.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.