WorldMedQA-V: un dataset di esame medico multilingue e multimodale per la valutazione dei modelli linguistici multimodali

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation

October 16, 2024

Autori: João Matos, Shan Chen, Siena Placino, Yingya Li, Juan Carlos Climent Pardo, Daphna Idan, Takeshi Tohyama, David Restrepo, Luis F. Nakayama, Jose M. M. Pascual-Leone, Guergana Savova, Hugo Aerts, Leo A. Celi, A. Ian Wong, Danielle S. Bitterman, Jack Gallifant

cs.AI

Abstract

I modelli multimodali di lingua/visione (VLM) vengono sempre più utilizzati negli ambienti sanitari in tutto il mondo, rendendo necessari solidi benchmark per garantirne la sicurezza, l'efficacia e l'equità. I dataset di domande a risposta multipla (QA) derivati dagli esami medici nazionali hanno a lungo funzionato come preziosi strumenti di valutazione, ma i dataset esistenti sono principalmente basati sul testo e disponibili solo in un limitato sottoinsieme di lingue e paesi. Per affrontare queste sfide, presentiamo WorldMedQA-V, un aggiornato dataset di benchmark multilingue e multimodale progettato per valutare i VLM nel settore sanitario. WorldMedQA-V include 568 QA a scelta multipla etichettate abbinate a 568 immagini mediche provenienti da quattro paesi (Brasile, Israele, Giappone e Spagna), coprendo le lingue originali e le traduzioni in inglese validate da medici madrelingua, rispettivamente. Le prestazioni di base per i comuni modelli open source e closed source sono fornite nella lingua locale e nelle traduzioni in inglese, sia con che senza immagini fornite al modello. Il benchmark WorldMedQA-V mira a far corrispondere meglio i sistemi AI agli ambienti sanitari diversificati in cui vengono implementati, promuovendo applicazioni più equilibrate, efficaci e rappresentative.

English

Multimodal/vision language models (VLMs) are increasingly being deployed in healthcare settings worldwide, necessitating robust benchmarks to ensure their safety, efficacy, and fairness. Multiple-choice question and answer (QA) datasets derived from national medical examinations have long served as valuable evaluation tools, but existing datasets are largely text-only and available in a limited subset of languages and countries. To address these challenges, we present WorldMedQA-V, an updated multilingual, multimodal benchmarking dataset designed to evaluate VLMs in healthcare. WorldMedQA-V includes 568 labeled multiple-choice QAs paired with 568 medical images from four countries (Brazil, Israel, Japan, and Spain), covering original languages and validated English translations by native clinicians, respectively. Baseline performance for common open- and closed-source models are provided in the local language and English translations, and with and without images provided to the model. The WorldMedQA-V benchmark aims to better match AI systems to the diverse healthcare environments in which they are deployed, fostering more equitable, effective, and representative applications.