GMAI-MMBench: Een Uitgebreide Multimodale Evaluatiebenchmark voor Algemene Medische AI

Samenvatting

Grote Vision-Taalmodellen (LVLMs) zijn in staat om diverse gegevenstypen te verwerken, zoals beeldmateriaal, tekst en fysiologische signalen, en kunnen worden toegepast in verschillende vakgebieden. In de medische sector hebben LVLMs een hoog potentieel om aanzienlijke ondersteuning te bieden bij diagnose en behandeling. Daarvoor is het echter cruciaal om benchmarks te ontwikkelen om de effectiviteit van LVLMs in diverse medische toepassingen te evalueren. Huidige benchmarks zijn vaak gebaseerd op specifieke academische literatuur, waarbij voornamelijk wordt gefocust op één domein en waarbij verschillende perceptuele granulariteiten ontbreken. Hierdoor worden ze geconfronteerd met specifieke uitdagingen, waaronder beperkte klinische relevantie, onvolledige evaluaties en onvoldoende begeleiding voor interactieve LVLMs. Om deze beperkingen aan te pakken, hebben wij de GMAI-MMBench ontwikkeld, de meest uitgebreide algemene medische AI-benchmark tot nu toe, met een goed gecategoriseerde datastructuur en multi-perceptuele granulariteit. Deze is opgebouwd uit 285 datasets verspreid over 39 medische beeldmodaliteiten, 18 klinisch gerelateerde taken, 18 afdelingen en 4 perceptuele granulariteiten in een Visual Question Answering (VQA)-formaat. Daarnaast hebben we een lexicale boomstructuur geïmplementeerd waarmee gebruikers evaluatietaken kunnen aanpassen, waardoor verschillende beoordelingsbehoeften worden vervuld en medisch AI-onderzoek en -toepassingen aanzienlijk worden ondersteund. We hebben 50 LVLMs geëvalueerd, en de resultaten laten zien dat zelfs de geavanceerde GPT-4o slechts een nauwkeurigheid van 52% behaalt, wat wijst op aanzienlijke ruimte voor verbetering. Bovendien hebben we vijf belangrijke tekortkomingen geïdentificeerd in huidige state-of-the-art LVLMs die moeten worden aangepakt om de ontwikkeling van betere medische toepassingen te bevorderen. Wij geloven dat GMAI-MMBench de gemeenschap zal stimuleren om de volgende generatie LVLMs te ontwikkelen richting GMAI. Projectpagina: https://uni-medical.github.io/GMAI-MMBench.github.io/

English

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI. Project Page: https://uni-medical.github.io/GMAI-MMBench.github.io/

GMAI-MMBench: Een Uitgebreide Multimodale Evaluatiebenchmark voor Algemene Medische AI

GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

Samenvatting

Support