ViExam: Sind Vision-Language-Modelle besser als Menschen bei vietnamesischen multimodalen Prüfungsfragen?

ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

August 19, 2025

papers.authors: Vy Tuong Dang, An Vo, Quang Tau, Duc Dm, Daeyoung Kim

cs.AI

papers.abstract

Vision Language Models (VLMs) zeigen bemerkenswerte Fähigkeiten bei englischsprachigen multimodalen Aufgaben, ihre Leistung bei ressourcenarmen Sprachen mit authentisch multimodalen Bildungsinhalten bleibt jedoch weitgehend unerforscht. In dieser Arbeit testen wir, wie VLMs bei vietnamesischen Bildungsbewertungen abschneiden, und untersuchen, ob VLMs, die hauptsächlich auf englischen Daten trainiert wurden, reale cross-linguale multimodale Argumentation bewältigen können. Unsere Arbeit präsentiert die erste umfassende Bewertung der Fähigkeiten von VLMs bei multimodalen vietnamesischen Prüfungen durch die Einführung von ViExam, einem Benchmark, der 2.548 multimodale Fragen enthält. Wir stellen fest, dass state-of-the-art VLMs nur 57,74 % erreichen, während Open-Source-Modelle eine durchschnittliche Genauigkeit von 27,70 % über 7 akademische Domänen hinweg erzielen, darunter Mathematik, Physik, Chemie, Biologie, Geographie, Führerscheintest und IQ-Test. Die meisten VLMs schneiden schlechter ab als der durchschnittliche menschliche Prüfungsteilnehmer (66,54 %), wobei nur das denkende VLM o3 (74,07 %) die durchschnittliche menschliche Leistung übertrifft, jedoch deutlich hinter der besten menschlichen Leistung (99,60 %) zurückbleibt. Cross-linguale Prompting mit englischen Anweisungen bei Beibehaltung des vietnamesischen Inhalts verbessert die Leistung nicht, sondern verringert die Genauigkeit bei SOTA-VLMs um 1 Prozentpunkt. Menschliche Zusammenarbeit in der Schleife kann die Leistung von VLMs teilweise um 5 Prozentpunkte verbessern. Code und Daten sind verfügbar unter: https://vi-exam.github.io.

English

Vision language models (VLMs) demonstrate remarkable capabilities on English multimodal tasks, but their performance on low-resource languages with genuinely multimodal educational content remains largely unexplored. In this work, we test how VLMs perform on Vietnamese educational assessments, investigating whether VLMs trained predominantly on English data can handle real-world cross-lingual multimodal reasoning. Our work presents the first comprehensive evaluation of VLM capabilities on multimodal Vietnamese exams through proposing ViExam, a benchmark containing 2,548 multimodal questions. We find that state-of-the-art VLMs achieve only 57.74% while open-source models achieve 27.70% mean accuracy across 7 academic domains, including Mathematics, Physics, Chemistry, Biology, Geography, Driving Test, and IQ Test. Most VLMs underperform average human test-takers (66.54%), with only the thinking VLM o3 (74.07%) exceeding human average performance, yet still falling substantially short of human best performance (99.60%). Cross-lingual prompting with English instructions while maintaining Vietnamese content fails to improve performance, decreasing accuracy by 1 percentage point for SOTA VLMs. Human-in-the-loop collaboration can partially improve VLM performance by 5 percentage points. Code and data are available at: https://vi-exam.github.io.