SMMILE: Um Benchmark Orientado por Especialistas para Aprendizado Multimodal em Contexto Médico

Resumo

O aprendizado multimodal em contexto (ICL) permanece pouco explorado, apesar de seu potencial significativo em domínios como a medicina. Clínicos rotineiramente enfrentam tarefas diversas e especializadas que exigem adaptação a partir de exemplos limitados, como extrair insights de alguns casos relevantes anteriores ou considerar um conjunto restrito de diagnósticos diferenciais. Embora os modelos de linguagem multimodal de grande escala (MLLMs) tenham mostrado avanços na tarefa de resposta a perguntas visuais (VQA) na área médica, sua capacidade de aprender tarefas multimodais a partir do contexto é amplamente desconhecida. Apresentamos o SMMILE, o primeiro benchmark de ICL multimodal orientado por especialistas para tarefas médicas. Onze especialistas médicos curaram problemas, cada um incluindo uma consulta multimodal e exemplos multimodais em contexto como demonstrações de tarefas. O SMMILE abrange 111 problemas (517 tripletos pergunta-imagem-resposta) cobrindo 6 especialidades médicas e 13 modalidades de imagem. Além disso, introduzimos o SMMILE++, uma variante aumentada com 1038 problemas permutados. Uma avaliação abrangente de 15 MLLMs demonstra que a maioria dos modelos exibe capacidade de ICL multimodal moderada a ruim em tarefas médicas. Em avaliações de resposta aberta, o ICL contribui com apenas 8% de melhoria média em relação ao zero-shot no SMMILE e 9,4% no SMMILE++. Observamos uma suscetibilidade a exemplos irrelevantes em contexto: mesmo um único exemplo ruidoso ou irrelevante pode degradar o desempenho em até 9,5%. Além disso, a ordenação dos exemplos exibe um viés de recência, ou seja, posicionar o exemplo mais relevante por último pode levar a melhorias substanciais no desempenho de até 71%. Nossos achados destacam limitações críticas e vieses nos MLLMs atuais ao aprender tarefas médicas multimodais a partir do contexto.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Um Benchmark Orientado por Especialistas para Aprendizado Multimodal em Contexto Médico

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Resumo

Support