CSVQA: Ein chinesischer multimodaler Benchmark zur Bewertung der STEM-Argumentationsfähigkeiten von VLMs

CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs

May 30, 2025

Autoren: Ai Jian, Weijie Qiu, Xiaokun Wang, Peiyu Wang, Yunzhuo Hao, Jiangbo Pei, Yichen Wei, Yi Peng, Xuchen Song

cs.AI

Zusammenfassung

Vision-Language Models (VLMs) haben bemerkenswerte Fortschritte im multimodalen Verständnis gezeigt, doch ihre Fähigkeiten zur wissenschaftlichen Argumentation bleiben unzureichend bewertet. Aktuelle multimodale Benchmarks bewerten hauptsächlich generelles Bildverständnis oder textgesteuerte Argumentation und mangeln an authentischen wissenschaftlichen Kontexten, die die Integration von domänenspezifischem Wissen mit der Analyse visueller Beweise erfordern. Um diese Lücke zu schließen, präsentieren wir CSVQA, einen diagnostischen multimodalen Benchmark, der speziell zur Bewertung wissenschaftlicher Argumentation durch domänenbezogenes visuelles Frage-Antworten entwickelt wurde. Unser Benchmark umfasst 1.378 sorgfältig konstruierte Frage-Antwort-Paare aus verschiedenen MINT-Disziplinen, die jeweils Domänenwissen, die Integration visueller Beweise und höhere Argumentationsfähigkeiten erfordern. Im Vergleich zu früheren multimodalen Benchmarks legt CSVQA größeren Wert auf realistische wissenschaftliche Inhalte und komplexe Argumentation. Zusätzlich schlagen wir ein rigoroses Evaluationsprotokoll vor, um systematisch zu bewerten, ob Modellvorhersagen durch gültige Zwischenschritte der Argumentation gestützt werden, basierend auf kuratierten Erklärungen. Unsere umfassende Bewertung von 15 VLMs anhand dieses Benchmarks zeigt bemerkenswerte Leistungsunterschiede, da selbst das bestplatzierte proprietäre Modell nur eine Genauigkeit von 49,6\% erreicht. Diese empirischen Belege unterstreichen den dringenden Bedarf an Fortschritten in den wissenschaftlichen Argumentationsfähigkeiten von VLMs. Unser CSVQA ist unter https://huggingface.co/datasets/Skywork/CSVQA veröffentlicht.

English

Vision-Language Models (VLMs) have demonstrated remarkable progress in multimodal understanding, yet their capabilities for scientific reasoning remains inadequately assessed. Current multimodal benchmarks predominantly evaluate generic image comprehension or text-driven reasoning, lacking authentic scientific contexts that require domain-specific knowledge integration with visual evidence analysis. To fill this gap, we present CSVQA, a diagnostic multimodal benchmark specifically designed for evaluating scientific reasoning through domain-grounded visual question answering.Our benchmark features 1,378 carefully constructed question-answer pairs spanning diverse STEM disciplines, each demanding domain knowledge, integration of visual evidence, and higher-order reasoning. Compared to prior multimodal benchmarks, CSVQA places greater emphasis on real-world scientific content and complex reasoning.We additionally propose a rigorous evaluation protocol to systematically assess whether model predictions are substantiated by valid intermediate reasoning steps based on curated explanations. Our comprehensive evaluation of 15 VLMs on this benchmark reveals notable performance disparities, as even the top-ranked proprietary model attains only 49.6\% accuracy.This empirical evidence underscores the pressing need for advancing scientific reasoning capabilities in VLMs. Our CSVQA is released at https://huggingface.co/datasets/Skywork/CSVQA.