ViExam: Превосходят ли модели обработки визуальной и языковой информации человека в решении вьетнамских мультимодальных экзаменационных вопросов?

ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

August 19, 2025

Авторы: Vy Tuong Dang, An Vo, Quang Tau, Duc Dm, Daeyoung Kim

cs.AI

Аннотация

Модели обработки визуальной информации и языка (VLMs) демонстрируют впечатляющие способности в решении мультимодальных задач на английском языке, однако их производительность на низкоресурсных языках с подлинно мультимодальным образовательным контентом остается в значительной степени неисследованной. В данной работе мы тестируем, как VLMs справляются с вьетнамскими образовательными тестами, исследуя, могут ли модели, обученные преимущественно на английских данных, справляться с реальными задачами кросс-лингвистического мультимодального рассуждения. Наша работа представляет первое всестороннее оценивание возможностей VLMs на мультимодальных вьетнамских экзаменах, предлагая ViExam — эталонный набор, содержащий 2 548 мультимодальных вопросов. Мы обнаруживаем, что современные VLMs достигают лишь 57,74% средней точности, в то время как модели с открытым исходным кодом показывают 27,70% точности в 7 академических областях, включая математику, физику, химию, биологию, географию, тест на вождение и тест на IQ. Большинство VLMs уступают среднему результату человека (66,54%), и только модель o3 (74,07%) превосходит средний человеческий показатель, но все же значительно отстает от лучшего результата человека (99,60%). Кросс-лингвистические подсказки с инструкциями на английском языке при сохранении вьетнамского контента не улучшают производительность, снижая точность на 1 процентный пункт для современных VLMs. Совместная работа с участием человека может частично повысить производительность VLMs на 5 процентных пунктов. Код и данные доступны по адресу: https://vi-exam.github.io.

English

Vision language models (VLMs) demonstrate remarkable capabilities on English multimodal tasks, but their performance on low-resource languages with genuinely multimodal educational content remains largely unexplored. In this work, we test how VLMs perform on Vietnamese educational assessments, investigating whether VLMs trained predominantly on English data can handle real-world cross-lingual multimodal reasoning. Our work presents the first comprehensive evaluation of VLM capabilities on multimodal Vietnamese exams through proposing ViExam, a benchmark containing 2,548 multimodal questions. We find that state-of-the-art VLMs achieve only 57.74% while open-source models achieve 27.70% mean accuracy across 7 academic domains, including Mathematics, Physics, Chemistry, Biology, Geography, Driving Test, and IQ Test. Most VLMs underperform average human test-takers (66.54%), with only the thinking VLM o3 (74.07%) exceeding human average performance, yet still falling substantially short of human best performance (99.60%). Cross-lingual prompting with English instructions while maintaining Vietnamese content fails to improve performance, decreasing accuracy by 1 percentage point for SOTA VLMs. Human-in-the-loop collaboration can partially improve VLM performance by 5 percentage points. Code and data are available at: https://vi-exam.github.io.