GMAI-MMBench: Un amplio banco de pruebas de evaluación multimodal hacia la Inteligencia Artificial Médica General

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

August 6, 2024

Autores: Pengcheng Chen, Jin Ye, Guoan Wang, Yanjun Li, Zhongying Deng, Wei Li, Tianbin Li, Haodong Duan, Ziyan Huang, Yanzhou Su, Benyou Wang, Shaoting Zhang, Bin Fu, Jianfei Cai, Bohan Zhuang, Eric J Seibel, Junjun He, Yu Qiao

cs.AI

Resumen

Los Modelos de Gran Visión-Lenguaje (LVLMs, por sus siglas en inglés) son capaces de manejar diversos tipos de datos como imágenes, texto y señales fisiológicas, y pueden aplicarse en varios campos. En el campo médico, los LVLMs tienen un alto potencial para ofrecer una asistencia sustancial para el diagnóstico y tratamiento. Antes de eso, es crucial desarrollar puntos de referencia para evaluar la efectividad de los LVLMs en diversas aplicaciones médicas. Los puntos de referencia actuales suelen basarse en literatura académica específica, centrándose principalmente en un solo dominio y careciendo de diferentes granularidades perceptuales. Por lo tanto, enfrentan desafíos específicos, incluyendo relevancia clínica limitada, evaluaciones incompletas y orientación insuficiente para LVLMs interactivos. Para abordar estas limitaciones, desarrollamos el GMAI-MMBench, el punto de referencia de IA médica general más completo hasta la fecha, con una estructura de datos bien categorizada y múltiples granularidades perceptuales. Está construido a partir de 285 conjuntos de datos en 39 modalidades de imágenes médicas, 18 tareas relacionadas con la clínica, 18 departamentos y 4 granularidades perceptuales en un formato de Preguntas y Respuestas Visuales (VQA). Además, implementamos una estructura de árbol léxico que permite a los usuarios personalizar tareas de evaluación, adaptándose a diversas necesidades de evaluación y apoyando sustancialmente la investigación y aplicaciones de IA médica. Evaluamos 50 LVLMs, y los resultados muestran que incluso el avanzado GPT-4o solo logra una precisión del 52%, lo que indica un amplio margen de mejora. Además, identificamos cinco insuficiencias clave en los LVLMs de vanguardia actuales que deben abordarse para avanzar en el desarrollo de mejores aplicaciones médicas. Creemos que GMAI-MMBench estimulará a la comunidad a construir la próxima generación de LVLMs hacia GMAI. Página del Proyecto: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/