GMAI-MMBench：汎用医療AIに向けた包括的マルチモーダル評価ベンチマーク

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

August 6, 2024

著者: Pengcheng Chen, Jin Ye, Guoan Wang, Yanjun Li, Zhongying Deng, Wei Li, Tianbin Li, Haodong Duan, Ziyan Huang, Yanzhou Su, Benyou Wang, Shaoting Zhang, Bin Fu, Jianfei Cai, Bohan Zhuang, Eric J Seibel, Junjun He, Yu Qiao

cs.AI

要旨

大規模視覚言語モデル（LVLMs）は、画像、テキスト、生理学的信号など多様なデータタイプを扱うことが可能であり、様々な分野で応用が期待されています。医療分野においては、LVLMsが診断や治療に大きな支援を提供する可能性が高いです。その前に、様々な医療応用におけるLVLMsの有効性を評価するためのベンチマークを開発することが重要です。現在のベンチマークは、特定の学術文献に基づいて構築されることが多く、主に単一のドメインに焦点を当てており、異なる知覚的粒度を欠いています。そのため、臨床的関連性の限界、不完全な評価、インタラクティブなLVLMsのための不十分なガイダンスといった特定の課題に直面しています。これらの制限を解決するために、我々はGMAI-MMBenchを開発しました。これは、これまでで最も包括的な一般医療AIベンチマークであり、よく分類されたデータ構造と多知覚的粒度を備えています。285のデータセットから構築され、39の医療画像モダリティ、18の臨床関連タスク、18の診療科、および4つの知覚的粒度を視覚質問応答（VQA）形式でカバーしています。さらに、ユーザーが評価タスクをカスタマイズできる語彙ツリー構造を実装し、様々な評価ニーズに対応し、医療AIの研究と応用を大幅に支援します。50のLVLMsを評価した結果、先進的なGPT-4oでさえ52%の精度しか達成できず、改善の余地が大きいことが示されました。さらに、より優れた医療アプリケーションの開発を進めるために、現在の最先端LVLMsにおける5つの主要な不足点を特定しました。我々は、GMAI-MMBenchがコミュニティを刺激し、次世代のLVLMsをGMAIに向けて構築することを期待しています。 プロジェクトページ: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/