GMAI-MMBench: Ein umfassender multimodaler Evaluierungsbenchmark für die allgemeine medizinische KI

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

August 6, 2024

Autoren: Pengcheng Chen, Jin Ye, Guoan Wang, Yanjun Li, Zhongying Deng, Wei Li, Tianbin Li, Haodong Duan, Ziyan Huang, Yanzhou Su, Benyou Wang, Shaoting Zhang, Bin Fu, Jianfei Cai, Bohan Zhuang, Eric J Seibel, Junjun He, Yu Qiao

cs.AI

Zusammenfassung

Große Vision-Sprach-Modelle (LVLMs) sind in der Lage, verschiedene Datentypen wie Bildgebung, Text und physiologische Signale zu verarbeiten und können in verschiedenen Bereichen eingesetzt werden. Im medizinischen Bereich haben LVLMs ein hohes Potenzial, um umfangreiche Unterstützung bei Diagnose und Behandlung zu bieten. Bevor dies geschieht, ist es entscheidend, Benchmarks zu entwickeln, um die Wirksamkeit von LVLMs in verschiedenen medizinischen Anwendungen zu bewerten. Aktuelle Benchmarks basieren häufig auf spezifischer Fachliteratur, die hauptsächlich auf einem einzelnen Bereich liegt und unterschiedliche Wahrnehmungsgranularitäten vermissen lässt. Daher stehen sie vor spezifischen Herausforderungen, darunter begrenzte klinische Relevanz, unvollständige Bewertungen und unzureichende Anleitung für interaktive LVLMs. Um diese Einschränkungen zu bewältigen, haben wir den GMAI-MMBench entwickelt, den umfassendsten allgemeinen medizinischen KI-Benchmark mit bislang gut kategorisierter Datenstruktur und multipler Wahrnehmungsgranularität. Er besteht aus 285 Datensätzen über 39 medizinische Bildgebungsmodalitäten, 18 klinisch-bezogenen Aufgaben, 18 Abteilungen und 4 Wahrnehmungsgranularitäten im Format einer visuellen Frage-Antwort (VQA). Darüber hinaus haben wir eine lexikalische Baumstruktur implementiert, die es Benutzern ermöglicht, Evaluationsaufgaben anzupassen, um verschiedenen Bewertungsbedürfnissen gerecht zu werden und die medizinische KI-Forschung und -Anwendungen wesentlich zu unterstützen. Wir haben 50 LVLMs evaluiert, und die Ergebnisse zeigen, dass selbst das fortschrittliche GPT-4o nur eine Genauigkeit von 52% erreicht, was auf erheblichen Verbesserungsbedarf hinweist. Darüber hinaus haben wir fünf wesentliche Unzulänglichkeiten in aktuellen modernsten LVLMs identifiziert, die angegangen werden müssen, um die Entwicklung besserer medizinischer Anwendungen voranzutreiben. Wir sind der Überzeugung, dass der GMAI-MMBench die Gemeinschaft dazu anregen wird, die nächste Generation von LVLMs in Richtung GMAI aufzubauen. Projektseite: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/