CSVQA: Un punto de referencia multimodal en chino para evaluar las capacidades de razonamiento STEM en modelos de lenguaje visual

CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs

May 30, 2025

Autores: Ai Jian, Weijie Qiu, Xiaokun Wang, Peiyu Wang, Yunzhuo Hao, Jiangbo Pei, Yichen Wei, Yi Peng, Xuchen Song

cs.AI

Resumen

Los Modelos de Visión-Lenguaje (VLMs, por sus siglas en inglés) han demostrado avances notables en la comprensión multimodal, aunque sus capacidades para el razonamiento científico siguen siendo insuficientemente evaluadas. Los puntos de referencia multimodales actuales se centran principalmente en evaluar la comprensión genérica de imágenes o el razonamiento basado en texto, careciendo de contextos científicos auténticos que requieran la integración de conocimientos específicos del dominio con el análisis de evidencia visual. Para abordar esta brecha, presentamos CSVQA, un punto de referencia multimodal diagnóstico diseñado específicamente para evaluar el razonamiento científico a través de la respuesta a preguntas visuales fundamentadas en dominios específicos. Nuestro punto de referencia incluye 1,378 pares de preguntas-respuestas cuidadosamente construidos que abarcan diversas disciplinas STEM, cada uno de los cuales exige conocimientos del dominio, integración de evidencia visual y razonamiento de orden superior. En comparación con los puntos de referencia multimodales anteriores, CSVQA pone un mayor énfasis en el contenido científico del mundo real y el razonamiento complejo. Además, proponemos un protocolo de evaluación riguroso para evaluar sistemáticamente si las predicciones del modelo están respaldadas por pasos de razonamiento intermedios válidos basados en explicaciones curadas. Nuestra evaluación exhaustiva de 15 VLMs en este punto de referencia revela disparidades notables en el rendimiento, ya que incluso el modelo propietario mejor clasificado alcanza solo un 49.6\% de precisión. Esta evidencia empírica subraya la necesidad urgente de avanzar en las capacidades de razonamiento científico de los VLMs. Nuestro CSVQA está disponible en https://huggingface.co/datasets/Skywork/CSVQA.

English

Vision-Language Models (VLMs) have demonstrated remarkable progress in multimodal understanding, yet their capabilities for scientific reasoning remains inadequately assessed. Current multimodal benchmarks predominantly evaluate generic image comprehension or text-driven reasoning, lacking authentic scientific contexts that require domain-specific knowledge integration with visual evidence analysis. To fill this gap, we present CSVQA, a diagnostic multimodal benchmark specifically designed for evaluating scientific reasoning through domain-grounded visual question answering.Our benchmark features 1,378 carefully constructed question-answer pairs spanning diverse STEM disciplines, each demanding domain knowledge, integration of visual evidence, and higher-order reasoning. Compared to prior multimodal benchmarks, CSVQA places greater emphasis on real-world scientific content and complex reasoning.We additionally propose a rigorous evaluation protocol to systematically assess whether model predictions are substantiated by valid intermediate reasoning steps based on curated explanations. Our comprehensive evaluation of 15 VLMs on this benchmark reveals notable performance disparities, as even the top-ranked proprietary model attains only 49.6\% accuracy.This empirical evidence underscores the pressing need for advancing scientific reasoning capabilities in VLMs. Our CSVQA is released at https://huggingface.co/datasets/Skywork/CSVQA.