CSVQA: Een Chinese multimodale benchmark voor het evalueren van STEM-redeneervaardigheden van VLMs

CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs

May 30, 2025

Auteurs: Ai Jian, Weijie Qiu, Xiaokun Wang, Peiyu Wang, Yunzhuo Hao, Jiangbo Pei, Yichen Wei, Yi Peng, Xuchen Song

cs.AI

Samenvatting

Vision-Language Models (VLMs) hebben aanzienlijke vooruitgang geboekt in multimodale begripsvorming, maar hun mogelijkheden voor wetenschappelijk redeneren blijven onvoldoende getoetst. Huidige multimodale benchmarks evalueren voornamelijk generiek beeldbegrip of tekstgestuurd redeneren, waarbij authentieke wetenschappelijke contexten ontbreken die integratie van domeinspecifieke kennis met analyse van visueel bewijs vereisen. Om deze leemte te vullen, presenteren wij CSVQA, een diagnostische multimodale benchmark die specifiek is ontworpen om wetenschappelijk redeneren te evalueren via domeingebonden visuele vraag-antwoordtaken. Onze benchmark bevat 1.378 zorgvuldig geconstrueerde vraag-antwoordparen die diverse STEM-disciplines bestrijken, waarbij elk paar domeinkennis, integratie van visueel bewijs en hogere-orde redenering vereist. In vergelijking met eerdere multimodale benchmarks legt CSVQA meer nadruk op realistische wetenschappelijke inhoud en complex redeneren. Daarnaast stellen wij een rigoureus evaluatieprotocol voor om systematisch te beoordelen of modelvoorspellingen worden onderbouwd door geldige tussenliggende redeneerstappen op basis van gecureerde verklaringen. Onze uitgebreide evaluatie van 15 VLMs op deze benchmark onthult opmerkelijke prestatieverschillen, waarbij zelfs het hoogst gerangschikte propriëtaire model slechts een nauwkeurigheid van 49,6% behaalt. Dit empirische bewijs onderstreept de dringende noodzaak om de wetenschappelijke redeneervaardigheden van VLMs te verbeteren. Onze CSVQA is vrijgegeven op https://huggingface.co/datasets/Skywork/CSVQA.

English

Vision-Language Models (VLMs) have demonstrated remarkable progress in multimodal understanding, yet their capabilities for scientific reasoning remains inadequately assessed. Current multimodal benchmarks predominantly evaluate generic image comprehension or text-driven reasoning, lacking authentic scientific contexts that require domain-specific knowledge integration with visual evidence analysis. To fill this gap, we present CSVQA, a diagnostic multimodal benchmark specifically designed for evaluating scientific reasoning through domain-grounded visual question answering.Our benchmark features 1,378 carefully constructed question-answer pairs spanning diverse STEM disciplines, each demanding domain knowledge, integration of visual evidence, and higher-order reasoning. Compared to prior multimodal benchmarks, CSVQA places greater emphasis on real-world scientific content and complex reasoning.We additionally propose a rigorous evaluation protocol to systematically assess whether model predictions are substantiated by valid intermediate reasoning steps based on curated explanations. Our comprehensive evaluation of 15 VLMs on this benchmark reveals notable performance disparities, as even the top-ranked proprietary model attains only 49.6\% accuracy.This empirical evidence underscores the pressing need for advancing scientific reasoning capabilities in VLMs. Our CSVQA is released at https://huggingface.co/datasets/Skywork/CSVQA.