GMAI-MMBench: Комплексный мультимодальный оценочный бенчмарк в направлении общей медицинской искусственной интеллекта

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

August 6, 2024

Авторы: Pengcheng Chen, Jin Ye, Guoan Wang, Yanjun Li, Zhongying Deng, Wei Li, Tianbin Li, Haodong Duan, Ziyan Huang, Yanzhou Su, Benyou Wang, Shaoting Zhang, Bin Fu, Jianfei Cai, Bohan Zhuang, Eric J Seibel, Junjun He, Yu Qiao

cs.AI

Аннотация

Большие модели видео-языка (LVLM) способны обрабатывать разнообразные типы данных, такие как изображения, текст и физиологические сигналы, и могут быть применены в различных областях. В медицинской сфере LVLM имеют большой потенциал для предоставления существенной помощи в диагностике и лечении. Однако перед этим крайне важно разработать бенчмарки для оценки эффективности LVLM в различных медицинских приложениях. Существующие бенчмарки часто основаны на конкретной академической литературе, в основном сосредоточены на одной области и лишены различных уровней восприятия. В связи с этим они сталкиваются с определенными проблемами, включая ограниченную клиническую значимость, неполные оценки и недостаточное руководство для интерактивных LVLM. Для преодоления этих ограничений мы разработали GMAI-MMBench - наиболее полный общемедицинский бенчмарк для искусственного интеллекта с хорошо категоризированной структурой данных и множественными уровнями восприятия на сегодняшний день. Он создан на основе 285 наборов данных по 39 модальностям медицинских изображений, 18 клиническим задачам, 18 отделениям и 4 уровням восприятия в формате вопрос-ответ на визуальные данные (VQA). Кроме того, мы реализовали структуру лексического дерева, которая позволяет пользователям настраивать задачи оценки, удовлетворяя различные потребности в оценке и значительно поддерживая исследования и приложения в области медицинского искусственного интеллекта. Мы оценили 50 LVLM, и результаты показывают, что даже передовой GPT-4o достигает лишь точности в 52%, что указывает на значительные возможности для улучшения. Более того, мы выявили пять ключевых недостатков в текущих передовых LVLM, которые необходимо устранить для продвижения разработки лучших медицинских приложений. Мы уверены, что GMAI-MMBench стимулирует сообщество к созданию следующего поколения LVLM в направлении GMAI. Страница проекта: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/