GMAI-MMBench: Um Benchmark de Avaliação Multimodal Abrangente Rumo à Inteligência Artificial Médica Geral

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

August 6, 2024

Autores: Pengcheng Chen, Jin Ye, Guoan Wang, Yanjun Li, Zhongying Deng, Wei Li, Tianbin Li, Haodong Duan, Ziyan Huang, Yanzhou Su, Benyou Wang, Shaoting Zhang, Bin Fu, Jianfei Cai, Bohan Zhuang, Eric J Seibel, Junjun He, Yu Qiao

cs.AI

Resumo

Os Modelos de Grande Escala de Visão e Linguagem (LVLMs) são capazes de lidar com diversos tipos de dados, como imagens, texto e sinais fisiológicos, e podem ser aplicados em diversos campos. No campo médico, os LVLMs têm um alto potencial para oferecer assistência substancial para diagnóstico e tratamento. Antes disso, é crucial desenvolver referências para avaliar a eficácia dos LVLMs em várias aplicações médicas. As referências atuais frequentemente são construídas com base em literatura acadêmica específica, focando principalmente em um único domínio e carecendo de diferentes granularidades perceptuais. Assim, elas enfrentam desafios específicos, incluindo relevância clínica limitada, avaliações incompletas e orientação insuficiente para LVLMs interativos. Para lidar com essas limitações, desenvolvemos o GMAI-MMBench, a referência de IA médica geral mais abrangente até o momento, com uma estrutura de dados bem categorizada e múltiplas granularidades perceptuais. Ela é construída a partir de 285 conjuntos de dados em 39 modalidades de imagens médicas, 18 tarefas relacionadas à clínica, 18 departamentos e 4 granularidades perceptuais em um formato de Pergunta e Resposta Visual (VQA). Além disso, implementamos uma estrutura de árvore lexical que permite aos usuários personalizar tarefas de avaliação, atendendo a diversas necessidades de avaliação e apoiando substancialmente a pesquisa e aplicações de IA médica. Avaliamos 50 LVLMs, e os resultados mostram que mesmo o avançado GPT-4o alcança apenas uma precisão de 52%, indicando um espaço significativo para melhoria. Além disso, identificamos cinco insuficiências-chave nos atuais LVLMs de ponta que precisam ser abordadas para avançar o desenvolvimento de melhores aplicações médicas. Acreditamos que o GMAI-MMBench estimulará a comunidade a construir a próxima geração de LVLMs em direção ao GMAI. Página do Projeto: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/