CSVQA: Китайский мультимодальный бенчмарк для оценки способностей VLMs к STEM-рассуждениям

CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs

May 30, 2025

Авторы: Ai Jian, Weijie Qiu, Xiaokun Wang, Peiyu Wang, Yunzhuo Hao, Jiangbo Pei, Yichen Wei, Yi Peng, Xuchen Song

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), демонстрируют значительный прогресс в мультимодальном понимании, однако их способности к научному рассуждению остаются недостаточно оцененными. Современные мультимодальные бенчмарки в основном оценивают общее понимание изображений или текстовое рассуждение, не включая аутентичные научные контексты, которые требуют интеграции предметных знаний с анализом визуальных данных. Чтобы заполнить этот пробел, мы представляем CSVQA — диагностический мультимодальный бенчмарк, специально разработанный для оценки научного рассуждения через предметно-ориентированные визуальные вопросы и ответы. Наш бенчмарк включает 1378 тщательно составленных вопросов и ответов, охватывающих различные дисциплины STEM, каждый из которых требует предметных знаний, интеграции визуальных данных и сложного рассуждения. В сравнении с предыдущими мультимодальными бенчмарками, CSVQA уделяет больше внимания реальному научному контенту и сложным рассуждениям. Мы также предлагаем строгий протокол оценки, чтобы систематически проверять, подтверждаются ли предсказания моделей валидными промежуточными шагами рассуждения на основе курируемых объяснений. Наше всестороннее тестирование 15 VLMs на этом бенчмарке выявило значительные различия в производительности: даже лучшая проприетарная модель достигает точности лишь 49,6%. Эти эмпирические данные подчеркивают острую необходимость в развитии способностей к научному рассуждению в VLMs. Наш CSVQA доступен по адресу https://huggingface.co/datasets/Skywork/CSVQA.

English

Vision-Language Models (VLMs) have demonstrated remarkable progress in multimodal understanding, yet their capabilities for scientific reasoning remains inadequately assessed. Current multimodal benchmarks predominantly evaluate generic image comprehension or text-driven reasoning, lacking authentic scientific contexts that require domain-specific knowledge integration with visual evidence analysis. To fill this gap, we present CSVQA, a diagnostic multimodal benchmark specifically designed for evaluating scientific reasoning through domain-grounded visual question answering.Our benchmark features 1,378 carefully constructed question-answer pairs spanning diverse STEM disciplines, each demanding domain knowledge, integration of visual evidence, and higher-order reasoning. Compared to prior multimodal benchmarks, CSVQA places greater emphasis on real-world scientific content and complex reasoning.We additionally propose a rigorous evaluation protocol to systematically assess whether model predictions are substantiated by valid intermediate reasoning steps based on curated explanations. Our comprehensive evaluation of 15 VLMs on this benchmark reveals notable performance disparities, as even the top-ranked proprietary model attains only 49.6\% accuracy.This empirical evidence underscores the pressing need for advancing scientific reasoning capabilities in VLMs. Our CSVQA is released at https://huggingface.co/datasets/Skywork/CSVQA.