SMMILE: Un Benchmark Guidato da Esperti per l'Apprendimento Multimodale in Contesto Medico

Abstract

L'apprendimento in contesto (ICL) multimodale rimane poco esplorato nonostante il suo significativo potenziale in ambiti come la medicina. I clinici si trovano regolarmente di fronte a compiti diversificati e specializzati che richiedono adattamento a partire da esempi limitati, come trarre intuizioni da alcuni casi precedenti rilevanti o considerare un insieme ristretto di diagnosi differenziali. Sebbene i modelli linguistici multimodali di grandi dimensioni (MLLMs) abbiano mostrato progressi nel rispondere a domande visive (VQA) in ambito medico, la loro capacità di apprendere compiti multimodali dal contesto è in gran parte sconosciuta. Introduciamo SMMILE, il primo benchmark multimodale ICL guidato da esperti per compiti medici. Undici esperti medici hanno curato problemi, ciascuno comprendente una query multimodale e esempi multimodali in contesto come dimostrazioni del compito. SMMILE comprende 111 problemi (517 triplette domanda-immagine-risposta) che coprono 6 specialità mediche e 13 modalità di imaging. Introduciamo inoltre SMMILE++, una variante ampliata con 1038 problemi permutati. Una valutazione completa di 15 MLLMs dimostra che la maggior parte dei modelli mostra una capacità ICL multimodale da moderata a scarsa nei compiti medici. Nelle valutazioni a risposta aperta, l'ICL contribuisce solo a un miglioramento medio dell'8% rispetto allo zero-shot su SMMILE e del 9,4% su SMMILE++. Osserviamo una suscettibilità agli esempi in contesto irrilevanti: anche un singolo esempio rumoroso o irrilevante può degradare le prestazioni fino al 9,5%. Inoltre, l'ordine degli esempi mostra un bias di recentezza, ovvero posizionare l'esempio più rilevante per ultimo può portare a sostanziali miglioramenti delle prestazioni fino al 71%. I nostri risultati evidenziano limitazioni e bias critici negli attuali MLLMs quando apprendono compiti medici multimodali dal contesto.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Un Benchmark Guidato da Esperti per l'Apprendimento Multimodale in Contesto Medico

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Abstract

Support