SMMILE: Ein Experten-basierter Benchmark für multimodales medizinisches In-Context-Lernen

Zusammenfassung

Multimodales In-Context-Lernen (ICL) bleibt trotz seines erheblichen Potenzials für Bereiche wie die Medizin weitgehend unerforscht. Kliniker sehen sich routinemäßig mit vielfältigen, spezialisierten Aufgaben konfrontiert, die eine Anpassung anhand weniger Beispiele erfordern, wie etwa das Ableiten von Erkenntnissen aus einigen relevanten früheren Fällen oder die Betrachtung einer begrenzten Anzahl von Differentialdiagnosen. Während multimodale große Sprachmodelle (MLLMs) Fortschritte im Bereich der medizinischen visuellen Fragebeantwortung (VQA) gezeigt haben, ist ihre Fähigkeit, multimodale Aufgaben aus dem Kontext zu lernen, weitgehend unbekannt. Wir stellen SMMILE vor, den ersten expertenbasierten multimodalen ICL-Benchmark für medizinische Aufgaben. Elf medizinische Experten haben Probleme kuratiert, die jeweils eine multimodale Abfrage und multimodale In-Context-Beispiele als Aufgabenbeispiele umfassen. SMMILE umfasst 111 Probleme (517 Frage-Bild-Antwort-Triplets), die 6 medizinische Fachgebiete und 13 Bildgebungsmodalitäten abdecken. Darüber hinaus führen wir SMMILE++ ein, eine erweiterte Variante mit 1038 permutierten Problemen. Eine umfassende Bewertung von 15 MLLMs zeigt, dass die meisten Modelle eine mäßige bis schlechte multimodale ICL-Fähigkeit bei medizinischen Aufgaben aufweisen. In offenen Bewertungen trägt ICL nur zu einer durchschnittlichen Verbesserung von 8 % gegenüber Zero-Shot auf SMMILE und 9,4 % auf SMMILE++ bei. Wir beobachten eine Anfälligkeit für irrelevante In-Context-Beispiele: Selbst ein einzelnes verrauschtes oder irrelevantes Beispiel kann die Leistung um bis zu 9,5 % verschlechtern. Darüber hinaus zeigt die Reihenfolge der Beispiele einen Recency-Bias, d. h. die Platzierung des relevantesten Beispiels an letzter Stelle kann zu erheblichen Leistungsverbesserungen von bis zu 71 % führen. Unsere Ergebnisse verdeutlichen kritische Einschränkungen und Verzerrungen in aktuellen MLLMs beim Lernen multimodaler medizinischer Aufgaben aus dem Kontext.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Ein Experten-basierter Benchmark für multimodales medizinisches In-Context-Lernen

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Zusammenfassung

Support