WorldMedQA-V: um conjunto de dados de exame médico multilíngue e multimodal para avaliação de modelos de linguagem multimodal.

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation

October 16, 2024

Autores: João Matos, Shan Chen, Siena Placino, Yingya Li, Juan Carlos Climent Pardo, Daphna Idan, Takeshi Tohyama, David Restrepo, Luis F. Nakayama, Jose M. M. Pascual-Leone, Guergana Savova, Hugo Aerts, Leo A. Celi, A. Ian Wong, Danielle S. Bitterman, Jack Gallifant

cs.AI

Resumo

Os modelos de linguagem multimodais/visionários (VLMs) estão sendo cada vez mais implementados em ambientes de saúde em todo o mundo, exigindo benchmarks robustos para garantir sua segurança, eficácia e equidade. Conjuntos de dados de perguntas e respostas de múltipla escolha (QA) derivados de exames médicos nacionais têm sido há muito tempo ferramentas valiosas de avaliação, mas os conjuntos de dados existentes são em grande parte apenas de texto e disponíveis em um subconjunto limitado de idiomas e países. Para enfrentar esses desafios, apresentamos o WorldMedQA-V, um conjunto de dados de benchmarking multilíngue e multimodal atualizado projetado para avaliar VLMs na área da saúde. O WorldMedQA-V inclui 568 perguntas e respostas de múltipla escolha rotuladas, combinadas com 568 imagens médicas de quatro países (Brasil, Israel, Japão e Espanha), abrangendo idiomas originais e traduções em inglês validadas por clínicos nativos, respectivamente. O desempenho básico para modelos comuns de código aberto e fechado é fornecido no idioma local e em traduções em inglês, com e sem imagens fornecidas ao modelo. O benchmark WorldMedQA-V tem como objetivo adequar melhor os sistemas de IA aos diversos ambientes de saúde nos quais são implementados, promovendo aplicações mais equitativas, eficazes e representativas.

English

Multimodal/vision language models (VLMs) are increasingly being deployed in healthcare settings worldwide, necessitating robust benchmarks to ensure their safety, efficacy, and fairness. Multiple-choice question and answer (QA) datasets derived from national medical examinations have long served as valuable evaluation tools, but existing datasets are largely text-only and available in a limited subset of languages and countries. To address these challenges, we present WorldMedQA-V, an updated multilingual, multimodal benchmarking dataset designed to evaluate VLMs in healthcare. WorldMedQA-V includes 568 labeled multiple-choice QAs paired with 568 medical images from four countries (Brazil, Israel, Japan, and Spain), covering original languages and validated English translations by native clinicians, respectively. Baseline performance for common open- and closed-source models are provided in the local language and English translations, and with and without images provided to the model. The WorldMedQA-V benchmark aims to better match AI systems to the diverse healthcare environments in which they are deployed, fostering more equitable, effective, and representative applications.