ViExam: Zijn Vision Language Models beter dan mensen in Vietnamese multimodale examen vragen?

ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

August 19, 2025

Auteurs: Vy Tuong Dang, An Vo, Quang Tau, Duc Dm, Daeyoung Kim

cs.AI

Samenvatting

Vision Language Models (VLMs) tonen opmerkelijke prestaties op Engelse multimodale taken, maar hun prestaties op talen met beperkte bronnen en authentiek multimodale educatieve inhoud blijven grotendeels onontgonnen. In dit werk testen we hoe VLMs presteren op Vietnamese educatieve toetsen, waarbij we onderzoeken of VLMs die voornamelijk op Engelse data zijn getraind, real-world cross-linguale multimodale redenering aankunnen. Ons werk presenteert de eerste uitgebreide evaluatie van VLM-capaciteiten op multimodale Vietnamese examens door ViExam voor te stellen, een benchmark met 2.548 multimodale vragen. We constateren dat state-of-the-art VLMs slechts 57,74% halen, terwijl open-source modellen een gemiddelde nauwkeurigheid van 27,70% behalen over 7 academische domeinen, waaronder Wiskunde, Natuurkunde, Scheikunde, Biologie, Aardrijkskunde, Rijbewijstest en IQ-test. De meeste VLMs presteren slechter dan de gemiddelde menselijke deelnemer (66,54%), waarbij alleen de denkende VLM o3 (74,07%) het gemiddelde menselijke prestatieniveau overtreft, maar nog steeds aanzienlijk achterblijft bij de beste menselijke prestaties (99,60%). Cross-linguale prompting met Engelse instructies terwijl de Vietnamese inhoud behouden blijft, verbetert de prestaties niet en verlaagt de nauwkeurigheid met 1 procentpunt voor state-of-the-art VLMs. Menselijke samenwerking in de loop kan de VLM-prestaties gedeeltelijk verbeteren met 5 procentpunten. Code en data zijn beschikbaar op: https://vi-exam.github.io.

English

Vision language models (VLMs) demonstrate remarkable capabilities on English multimodal tasks, but their performance on low-resource languages with genuinely multimodal educational content remains largely unexplored. In this work, we test how VLMs perform on Vietnamese educational assessments, investigating whether VLMs trained predominantly on English data can handle real-world cross-lingual multimodal reasoning. Our work presents the first comprehensive evaluation of VLM capabilities on multimodal Vietnamese exams through proposing ViExam, a benchmark containing 2,548 multimodal questions. We find that state-of-the-art VLMs achieve only 57.74% while open-source models achieve 27.70% mean accuracy across 7 academic domains, including Mathematics, Physics, Chemistry, Biology, Geography, Driving Test, and IQ Test. Most VLMs underperform average human test-takers (66.54%), with only the thinking VLM o3 (74.07%) exceeding human average performance, yet still falling substantially short of human best performance (99.60%). Cross-lingual prompting with English instructions while maintaining Vietnamese content fails to improve performance, decreasing accuracy by 1 percentage point for SOTA VLMs. Human-in-the-loop collaboration can partially improve VLM performance by 5 percentage points. Code and data are available at: https://vi-exam.github.io.