VisualPuzzles: Entkopplung der Bewertung multimodaler Argumentation von Domänenwissen

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

Autoren: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

Zusammenfassung

Aktuelle multimodale Benchmarks vermischen oft logisches Denken mit domänenspezifischem Wissen, was es schwierig macht, allgemeine Denkfähigkeiten in nicht-expertenbasierten Umgebungen zu isolieren und zu bewerten. Um dies zu adressieren, führen wir VisualPuzzles ein, einen Benchmark, der gezielt visuelles Denken anspricht und dabei bewusst die Abhängigkeit von spezialisiertem Wissen minimiert. VisualPuzzles besteht aus vielfältigen Fragen, die fünf Kategorien umfassen: algorithmisches, analoges, deduktives, induktives und räumliches Denken. Eine wichtige Quelle unserer Fragen sind manuell übersetzte logische Denkaufgaben aus dem chinesischen Beamtenprüfungssystem. Experimente zeigen, dass VisualPuzzles deutlich weniger intensives domänenspezifisches Wissen und komplexeres Denken erfordert als Benchmarks wie MMMU, was es uns ermöglicht, echtes multimodales Denken besser zu bewerten. Evaluierungen zeigen, dass state-of-the-art multimodale Large Language Models durchweg hinter der menschlichen Leistung bei VisualPuzzles zurückbleiben und dass starke Leistungen bei wissensintensiven Benchmarks nicht zwangsläufig zu Erfolg bei denkfokussierten, wissensarmen Aufgaben führen. Zudem führen Denkverbesserungen wie das Hochskalieren von Inferenzrechenleistung (mit „Denk“-Modi) zu inkonsistenten Gewinnen über Modelle und Aufgabentypen hinweg, und wir beobachten keine klare Korrelation zwischen Modellgröße und Leistung. Wir fanden auch heraus, dass Modelle bei VisualPuzzles unterschiedliche Denk- und Antwortmuster zeigen im Vergleich zu Benchmarks, die stärker auf Wissen ausgerichtet sind. VisualPuzzles bietet eine klarere Linse, durch die Denkfähigkeiten jenseits von Faktenwiedergabe und Domänenwissen bewertet werden können.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.