SMMILE: Экспертно-разработанный бенчмарк для мультимодального обучения в контексте медицинских данных

Аннотация

Мультимодальное обучение в контексте (ICL) остается недостаточно изученным, несмотря на значительный потенциал для таких областей, как медицина. Клиницисты регулярно сталкиваются с разнообразными специализированными задачами, требующими адаптации на основе ограниченного числа примеров, таких как извлечение выводов из нескольких релевантных предыдущих случаев или рассмотрение ограниченного набора дифференциальных диагнозов. Хотя мультимодальные большие языковые модели (MLLMs) продемонстрировали прогресс в медицинском визуальном вопросе-ответе (VQA), их способность обучаться мультимодальным задачам из контекста остается в значительной степени неизученной. Мы представляем SMMILE — первый экспертно-ориентированный мультимодальный бенчмарк ICL для медицинских задач. Одиннадцать медицинских экспертов разработали задачи, каждая из которых включает мультимодальный запрос и мультимодальные примеры в контексте в качестве демонстраций задачи. SMMILE охватывает 111 задач (517 триплетов вопрос-изображение-ответ), охватывающих 6 медицинских специальностей и 13 методов визуализации. Мы также представляем SMMILE++ — расширенный вариант с 1038 перестановленными задачами. Комплексная оценка 15 MLLMs показывает, что большинство моделей демонстрируют умеренную или низкую способность к мультимодальному ICL в медицинских задачах. В открытых оценках ICL обеспечивает лишь 8% среднего улучшения по сравнению с нулевым обучением на SMMILE и 9,4% на SMMILE++. Мы наблюдаем уязвимость к нерелевантным примерам в контексте: даже один шумный или нерелевантный пример может снизить производительность до 9,5%. Кроме того, порядок примеров демонстрирует склонность к недавним данным: размещение наиболее релевантного примера в конце может привести к значительному улучшению производительности до 71%. Наши результаты подчеркивают критические ограничения и предубеждения в текущих MLLMs при обучении мультимодальным медицинским задачам из контекста.

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE: Экспертно-разработанный бенчмарк для мультимодального обучения в контексте медицинских данных

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

Аннотация

Support