WorldMedQA-V: ein mehrsprachiger, multimodaler medizinischer Untersuchungsdatensatz zur Evaluation von multimodalen Sprachmodellen

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation

October 16, 2024

Autoren: João Matos, Shan Chen, Siena Placino, Yingya Li, Juan Carlos Climent Pardo, Daphna Idan, Takeshi Tohyama, David Restrepo, Luis F. Nakayama, Jose M. M. Pascual-Leone, Guergana Savova, Hugo Aerts, Leo A. Celi, A. Ian Wong, Danielle S. Bitterman, Jack Gallifant

cs.AI

Zusammenfassung

Multimodale/Sprachmodelle für Vision (VLMs) werden zunehmend in Gesundheitseinrichtungen weltweit eingesetzt, was robuste Benchmarks erfordert, um ihre Sicherheit, Wirksamkeit und Fairness zu gewährleisten. Mehrfachauswahl-Frage-und-Antwort (QA)-Datensätze, die aus nationalen medizinischen Prüfungen abgeleitet sind, haben lange Zeit als wertvolle Evaluierungswerkzeuge gedient, aber bestehende Datensätze bestehen größtenteils nur aus Text und sind nur in einer begrenzten Anzahl von Sprachen und Ländern verfügbar. Um diesen Herausforderungen zu begegnen, präsentieren wir WorldMedQA-V, einen aktualisierten mehrsprachigen, multimodalen Benchmark-Datensatz, der entwickelt wurde, um VLMs im Gesundheitswesen zu evaluieren. WorldMedQA-V umfasst 568 gekennzeichnete mehrfachauswahl QA-Paare mit 568 medizinischen Bildern aus vier Ländern (Brasilien, Israel, Japan und Spanien), die jeweils die Originalsprachen und validierte englische Übersetzungen durch Muttersprachler-Kliniker abdecken. Baseline-Performance für gängige Open- und Closed-Source-Modelle werden in der lokalen Sprache und in englischen Übersetzungen bereitgestellt, sowohl mit als auch ohne Bilder, die dem Modell zur Verfügung gestellt werden. Der WorldMedQA-V Benchmark zielt darauf ab, KI-Systeme besser an die vielfältigen Gesundheitsumgebungen anzupassen, in denen sie eingesetzt werden, um gerechtere, effektivere und repräsentativere Anwendungen zu fördern.

English

Multimodal/vision language models (VLMs) are increasingly being deployed in healthcare settings worldwide, necessitating robust benchmarks to ensure their safety, efficacy, and fairness. Multiple-choice question and answer (QA) datasets derived from national medical examinations have long served as valuable evaluation tools, but existing datasets are largely text-only and available in a limited subset of languages and countries. To address these challenges, we present WorldMedQA-V, an updated multilingual, multimodal benchmarking dataset designed to evaluate VLMs in healthcare. WorldMedQA-V includes 568 labeled multiple-choice QAs paired with 568 medical images from four countries (Brazil, Israel, Japan, and Spain), covering original languages and validated English translations by native clinicians, respectively. Baseline performance for common open- and closed-source models are provided in the local language and English translations, and with and without images provided to the model. The WorldMedQA-V benchmark aims to better match AI systems to the diverse healthcare environments in which they are deployed, fostering more equitable, effective, and representative applications.