WorldMedQA-V: многоязычный, мультимодальный медицинский набор данных для оценки мультимодальных языковых моделей.

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation

October 16, 2024

Авторы: João Matos, Shan Chen, Siena Placino, Yingya Li, Juan Carlos Climent Pardo, Daphna Idan, Takeshi Tohyama, David Restrepo, Luis F. Nakayama, Jose M. M. Pascual-Leone, Guergana Savova, Hugo Aerts, Leo A. Celi, A. Ian Wong, Danielle S. Bitterman, Jack Gallifant

cs.AI

Аннотация

Многомодельные/модели языка с видением (VLM) все чаще применяются в медицинских учреждениях по всему миру, что требует создания надежных бенчмарков для обеспечения их безопасности, эффективности и справедливости. Наборы данных с вопросами и ответами (QA) с множественным выбором, полученные из национальных медицинских экзаменов, давно служат ценными инструментами оценки, но существующие наборы данных в основном содержат только текст и доступны на ограниченном наборе языков и стран. Для решения этих проблем мы представляем WorldMedQA-V, обновленный многоязычный, многомодальный набор данных для оценки VLM в области здравоохранения. WorldMedQA-V включает 568 помеченных вопросов и ответов с множественным выбором, сопоставленных с 568 медицинскими изображениями из четырех стран (Бразилия, Израиль, Япония и Испания), охватывая оригинальные языки и подтвержденные английские переводы от местных врачей. Предоставляются базовые показатели производительности для общедоступных и закрытых моделей как на местном языке, так и на английском языке, с изображениями и без них. Бенчмарк WorldMedQA-V направлен на более точное соответствие искусственного интеллекта разнообразным средам здравоохранения, в которых они применяются, способствуя более справедливым, эффективным и репрезентативным приложениям.

English

Multimodal/vision language models (VLMs) are increasingly being deployed in healthcare settings worldwide, necessitating robust benchmarks to ensure their safety, efficacy, and fairness. Multiple-choice question and answer (QA) datasets derived from national medical examinations have long served as valuable evaluation tools, but existing datasets are largely text-only and available in a limited subset of languages and countries. To address these challenges, we present WorldMedQA-V, an updated multilingual, multimodal benchmarking dataset designed to evaluate VLMs in healthcare. WorldMedQA-V includes 568 labeled multiple-choice QAs paired with 568 medical images from four countries (Brazil, Israel, Japan, and Spain), covering original languages and validated English translations by native clinicians, respectively. Baseline performance for common open- and closed-source models are provided in the local language and English translations, and with and without images provided to the model. The WorldMedQA-V benchmark aims to better match AI systems to the diverse healthcare environments in which they are deployed, fostering more equitable, effective, and representative applications.