SMMILE: Un Punto de Referencia Basado en Expertos para el Aprendizaje Multimodal en Contexto Médico

Resumen

El aprendizaje multimodal en contexto (ICL, por sus siglas en inglés) sigue siendo poco explorado a pesar de su potencial significativo en dominios como la medicina. Los clínicos se enfrentan rutinariamente a tareas diversas y especializadas que requieren adaptación a partir de ejemplos limitados, como extraer conclusiones de unos pocos casos previos relevantes o considerar un conjunto restringido de diagnósticos diferenciales. Si bien los modelos de lenguaje multimodal de gran escala (MLLMs) han mostrado avances en la respuesta visual a preguntas médicas (VQA), su capacidad para aprender tareas multimodales a partir del contexto es en gran medida desconocida. Presentamos SMMILE, el primer punto de referencia multimodal ICL impulsado por expertos para tareas médicas. Once expertos médicos seleccionaron problemas, cada uno incluyendo una consulta multimodal y ejemplos multimodales en contexto como demostraciones de la tarea. SMMILE abarca 111 problemas (517 tripletas pregunta-imagen-respuesta) que cubren 6 especialidades médicas y 13 modalidades de imagen. Además, introducimos SMMILE++, una variante aumentada con 1038 problemas permutados. Una evaluación exhaustiva de 15 MLLMs demuestra que la mayoría de los modelos exhiben una capacidad ICL multimodal de moderada a pobre en tareas médicas. En evaluaciones de respuesta abierta, el ICL contribuye solo con una mejora promedio del 8% sobre el enfoque de cero disparos en SMMILE y del 9.4% en SMMILE++. Observamos una susceptibilidad a ejemplos en contexto irrelevantes: incluso un solo ejemplo ruidoso o irrelevante puede degradar el rendimiento hasta en un 9.5%. Además, el orden de los ejemplos muestra un sesgo de recencia, es decir, colocar el ejemplo más relevante al final puede llevar a mejoras sustanciales en el rendimiento de hasta un 71%. Nuestros hallazgos resaltan limitaciones y sesgos críticos en los MLLMs actuales al aprender tareas médicas multimodales a partir del contexto.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Un Punto de Referencia Basado en Expertos para el Aprendizaje Multimodal en Contexto Médico

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Resumen

Support