SMMILE : Un benchmark expert pour l'apprentissage multimodal en contexte médical

Résumé

L'apprentissage multimodal en contexte (ICL) reste sous-exploré malgré un potentiel significatif pour des domaines tels que la médecine. Les cliniciens sont régulièrement confrontés à des tâches diversifiées et spécialisées nécessitant une adaptation à partir d'exemples limités, comme tirer des enseignements de quelques cas antérieurs pertinents ou considérer un ensemble restreint de diagnostics différentiels. Bien que les modèles de langage multimodaux de grande envergure (MLLMs) aient montré des avancées dans les tâches de question-réponse visuelle (VQA) en médecine, leur capacité à apprendre des tâches multimodales à partir du contexte reste largement inconnue. Nous présentons SMMILE, le premier benchmark expertisé d'ICL multimodal pour des tâches médicales. Onze experts médicaux ont sélectionné des problèmes, chacun incluant une requête multimodale et des exemples multimodaux en contexte comme démonstrations de tâches. SMMILE englobe 111 problèmes (517 triplets question-image-réponse) couvrant 6 spécialités médicales et 13 modalités d'imagerie. Nous introduisons également SMMILE++, une variante augmentée avec 1038 problèmes permutés. Une évaluation approfondie de 15 MLLMs démontre que la plupart des modèles présentent une capacité d'ICL multimodale modérée à faible dans les tâches médicales. Dans les évaluations à réponse ouverte, l'ICL ne contribue qu'à une amélioration moyenne de 8 % par rapport au zero-shot sur SMMILE et de 9,4 % sur SMMILE++. Nous observons une sensibilité aux exemples en contexte non pertinents : même un seul exemple bruité ou non pertinent peut dégrader les performances jusqu'à 9,5 %. De plus, l'ordre des exemples montre un biais de récence, c'est-à-dire que placer l'exemple le plus pertinent en dernier peut entraîner des améliorations substantielles des performances jusqu'à 71 %. Nos résultats mettent en lumière des limitations et des biais critiques des MLLMs actuels dans l'apprentissage de tâches médicales multimodales à partir du contexte.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE : Un benchmark expert pour l'apprentissage multimodal en contexte médical

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Résumé

Support