SMMILE: Een Expert-Gestuurde Benchmark voor Multimodaal Medisch In-Context Leren

Samenvatting

Multimodaal in-context learning (ICL) blijft onderbelicht ondanks het aanzienlijke potentieel voor domeinen zoals de geneeskunde. Klinisch specialisten komen regelmatig diverse, gespecialiseerde taken tegen die aanpassing vereisen op basis van beperkte voorbeelden, zoals het trekken van inzichten uit een paar relevante eerdere gevallen of het overwegen van een beperkte set differentiële diagnoses. Hoewel multimodale grote taalmodellen (MLLMs) vooruitgang hebben geboekt in medische visuele vraag-antwoordtaken (VQA), is hun vermogen om multimodale taken uit de context te leren grotendeels onbekend. We introduceren SMMILE, de eerste expert-gestuurde multimodale ICL-benchmark voor medische taken. Elf medische experts hebben problemen samengesteld, elk inclusief een multimodale vraag en multimodale in-context voorbeelden als taakdemonstraties. SMMILE omvat 111 problemen (517 vraag-afbeelding-antwoord tripletten) die 6 medische specialismen en 13 beeldvormingsmodaliteiten beslaan. We introduceren verder SMMILE++, een uitgebreide variant met 1038 gepermuteerde problemen. Een uitgebreide evaluatie van 15 MLLMs toont aan dat de meeste modellen matige tot slechte multimodale ICL-vaardigheden vertonen bij medische taken. In open-eindevaluaties draagt ICL slechts een gemiddelde verbetering van 8% bij ten opzichte van zero-shot op SMMILE en 9,4% op SMMILE++. We observeren een gevoeligheid voor irrelevante in-context voorbeelden: zelfs een enkel ruisachtig of irrelevant voorbeeld kan de prestaties met tot wel 9,5% verminderen. Bovendien vertoont de volgorde van voorbeelden een recency bias, d.w.z. het plaatsen van het meest relevante voorbeeld als laatste kan leiden tot aanzienlijke prestatieverbeteringen van tot wel 71%. Onze bevindingen benadrukken kritieke beperkingen en biases in huidige MLLMs bij het leren van multimodale medische taken uit de context.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Een Expert-Gestuurde Benchmark voor Multimodaal Medisch In-Context Leren

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Samenvatting

Support