GMAI-MMBench: Un Benchmark Completo di Valutazione Multimodale per l'Intelligenza Artificiale Medica Generale

Abstract

I Large Vision-Language Models (LVLM) sono in grado di gestire diversi tipi di dati come immagini, testo e segnali fisiologici, e possono essere applicati in vari campi. Nel settore medico, i LVLM hanno un alto potenziale per offrire un sostanziale supporto nella diagnosi e nel trattamento. Prima di ciò, è cruciale sviluppare benchmark per valutare l'efficacia dei LVLM in varie applicazioni mediche. Gli attuali benchmark sono spesso basati su specifiche pubblicazioni accademiche, concentrandosi principalmente su un singolo dominio e mancando di granularità percettive variabili. Pertanto, affrontano sfide specifiche, tra cui una rilevanza clinica limitata, valutazioni incomplete e una guida insufficiente per i LVLM interattivi. Per affrontare queste limitazioni, abbiamo sviluppato il GMAI-MMBench, il benchmark generale di intelligenza artificiale medica più completo con una struttura dati ben categorizzata e una granularità percettiva multipla fino ad oggi. È costruito da 285 dataset attraverso 39 modalità di immagini mediche, 18 task clinici, 18 reparti e 4 granularità percettive in un formato di Visual Question Answering (VQA). Inoltre, abbiamo implementato una struttura ad albero lessicale che consente agli utenti di personalizzare i task di valutazione, adattandosi a varie esigenze di valutazione e supportando sostanzialmente la ricerca e le applicazioni dell'IA medica. Abbiamo valutato 50 LVLM, e i risultati mostrano che anche l'avanzato GPT-4o raggiunge solo un'accuratezza del 52%, indicando un significativo margine di miglioramento. Inoltre, abbiamo identificato cinque principali carenze negli attuali LVLM all'avanguardia che devono essere affrontate per avanzare nello sviluppo di migliori applicazioni mediche. Crediamo che il GMAI-MMBench stimolerà la comunità a costruire la prossima generazione di LVLM verso il GMAI. Pagina del progetto: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/

GMAI-MMBench: Un Benchmark Completo di Valutazione Multimodale per l'Intelligenza Artificiale Medica Generale

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

Abstract

Support