ViExam: Modelos de Linguagem Visual são Melhores que Humanos em Questões de Exame Multimodais Vietnamitas?

ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

August 19, 2025

Autores: Vy Tuong Dang, An Vo, Quang Tau, Duc Dm, Daeyoung Kim

cs.AI

Resumo

Modelos de linguagem visual (VLMs) demonstram capacidades notáveis em tarefas multimodais em inglês, mas seu desempenho em idiomas de baixo recurso com conteúdo educacional genuinamente multimodal permanece amplamente inexplorado. Neste trabalho, testamos como os VLMs se saem em avaliações educacionais vietnamitas, investigando se VLMs treinados predominantemente em dados em inglês podem lidar com raciocínio multimodal cross-lingual no mundo real. Nosso trabalho apresenta a primeira avaliação abrangente das capacidades dos VLMs em exames multimodais vietnamitas, propondo o ViExam, um benchmark contendo 2.548 questões multimodais. Descobrimos que os VLMs state-of-the-art alcançam apenas 57,74%, enquanto modelos de código aberto atingem 27,70% de precisão média em 7 domínios acadêmicos, incluindo Matemática, Física, Química, Biologia, Geografia, Teste de Direção e Teste de QI. A maioria dos VLMs tem desempenho inferior ao dos participantes humanos médios (66,54%), com apenas o VLM pensante o3 (74,07%) superando a média humana, mas ainda ficando substancialmente abaixo do melhor desempenho humano (99,60%). O prompting cross-lingual com instruções em inglês, mantendo o conteúdo em vietnamita, não melhora o desempenho, reduzindo a precisão em 1 ponto percentual para VLMs SOTA. A colaboração human-in-the-loop pode melhorar parcialmente o desempenho dos VLMs em 5 pontos percentuais. Código e dados estão disponíveis em: https://vi-exam.github.io.

English

Vision language models (VLMs) demonstrate remarkable capabilities on English multimodal tasks, but their performance on low-resource languages with genuinely multimodal educational content remains largely unexplored. In this work, we test how VLMs perform on Vietnamese educational assessments, investigating whether VLMs trained predominantly on English data can handle real-world cross-lingual multimodal reasoning. Our work presents the first comprehensive evaluation of VLM capabilities on multimodal Vietnamese exams through proposing ViExam, a benchmark containing 2,548 multimodal questions. We find that state-of-the-art VLMs achieve only 57.74% while open-source models achieve 27.70% mean accuracy across 7 academic domains, including Mathematics, Physics, Chemistry, Biology, Geography, Driving Test, and IQ Test. Most VLMs underperform average human test-takers (66.54%), with only the thinking VLM o3 (74.07%) exceeding human average performance, yet still falling substantially short of human best performance (99.60%). Cross-lingual prompting with English instructions while maintaining Vietnamese content fails to improve performance, decreasing accuracy by 1 percentage point for SOTA VLMs. Human-in-the-loop collaboration can partially improve VLM performance by 5 percentage points. Code and data are available at: https://vi-exam.github.io.