ViExam: ¿Son los modelos de lenguaje visual mejores que los humanos en preguntas de exámenes multimodales en vietnamita?

ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

August 19, 2025

Autores: Vy Tuong Dang, An Vo, Quang Tau, Duc Dm, Daeyoung Kim

cs.AI

Resumen

Los modelos de lenguaje visual (VLMs, por sus siglas en inglés) demuestran capacidades notables en tareas multimodales en inglés, pero su rendimiento en lenguajes de bajos recursos con contenido educativo genuinamente multimodal sigue siendo en gran medida inexplorado. En este trabajo, evaluamos cómo se desempeñan los VLMs en evaluaciones educativas vietnamitas, investigando si los VLMs entrenados predominantemente con datos en inglés pueden manejar razonamientos multimodales multilingües en el mundo real. Nuestro trabajo presenta la primera evaluación integral de las capacidades de los VLMs en exámenes multimodales vietnamitas mediante la propuesta de ViExam, un punto de referencia que contiene 2,548 preguntas multimodales. Encontramos que los VLMs de última generación alcanzan solo un 57.74% de precisión, mientras que los modelos de código abierto logran un 27.70% de precisión promedio en 7 dominios académicos, incluyendo Matemáticas, Física, Química, Biología, Geografía, Examen de Conducción y Prueba de CI. La mayoría de los VLMs tienen un rendimiento inferior al de los examinadores humanos promedio (66.54%), con solo el VLM de pensamiento o3 (74.07%) superando el rendimiento humano promedio, aunque aún quedando muy por debajo del mejor rendimiento humano (99.60%). El uso de instrucciones en inglés mientras se mantiene el contenido en vietnamita no mejora el rendimiento, disminuyendo la precisión en 1 punto porcentual para los VLMs de última generación. La colaboración con humanos en el ciclo puede mejorar parcialmente el rendimiento de los VLMs en 5 puntos porcentuales. El código y los datos están disponibles en: https://vi-exam.github.io.

English

Vision language models (VLMs) demonstrate remarkable capabilities on English multimodal tasks, but their performance on low-resource languages with genuinely multimodal educational content remains largely unexplored. In this work, we test how VLMs perform on Vietnamese educational assessments, investigating whether VLMs trained predominantly on English data can handle real-world cross-lingual multimodal reasoning. Our work presents the first comprehensive evaluation of VLM capabilities on multimodal Vietnamese exams through proposing ViExam, a benchmark containing 2,548 multimodal questions. We find that state-of-the-art VLMs achieve only 57.74% while open-source models achieve 27.70% mean accuracy across 7 academic domains, including Mathematics, Physics, Chemistry, Biology, Geography, Driving Test, and IQ Test. Most VLMs underperform average human test-takers (66.54%), with only the thinking VLM o3 (74.07%) exceeding human average performance, yet still falling substantially short of human best performance (99.60%). Cross-lingual prompting with English instructions while maintaining Vietnamese content fails to improve performance, decreasing accuracy by 1 percentage point for SOTA VLMs. Human-in-the-loop collaboration can partially improve VLM performance by 5 percentage points. Code and data are available at: https://vi-exam.github.io.