SMMILE：専門家主導によるマルチモーダル医療インコンテクスト学習のベンチマーク

要旨

マルチモーダル・インコンテクスト学習（ICL）は、医学などの分野において大きな可能性を秘めているにもかかわらず、十分に研究されていない。臨床医は、限られた例から適応を必要とする多様で専門的なタスクに日常的に直面しており、例えば、いくつかの関連する過去の症例から洞察を引き出したり、限られた鑑別診断のセットを検討したりする。マルチモーダル大規模言語モデル（MLLM）は、医療視覚質問応答（VQA）において進歩を示しているが、コンテクストからマルチモーダルタスクを学習する能力はほとんど未知である。本研究では、医療タスク向けの初の専門家主導型マルチモーダルICLベンチマークであるSMMILEを紹介する。11名の医療専門家が問題を選定し、各問題にはマルチモーダルクエリとタスクデモンストレーションとしてのマルチモーダルインコンテクスト例が含まれている。SMMILEは、6つの医療専門分野と13の画像モダリティをカバーする111の問題（517の質問-画像-回答トリプレット）を包含している。さらに、1038の順列問題を含む拡張版であるSMMILE++を導入する。15のMLLMに対する包括的な評価により、ほとんどのモデルが医療タスクにおけるマルチモーダルICL能力が中程度から低いことが示された。自由回答形式の評価では、ICLはSMMILEにおいてゼロショットと比較して平均8%、SMMILE++では9.4%の改善にしか寄与しなかった。また、無関係なインコンテクスト例に対する脆弱性が観察され、単一のノイズまたは無関係な例でも性能が最大9.5%低下することが確認された。さらに、例の順序には新近性バイアスが見られ、最も関連性の高い例を最後に配置することで最大71%の大幅な性能向上が得られることが示された。本研究の結果は、コンテクストからマルチモーダル医療タスクを学習する際の現在のMLLMの重要な制約とバイアスを浮き彫りにしている。

English

Multimodal in-context learning (ICL) remains underexplored despite significant potential for domains such as medicine. Clinicians routinely encounter diverse, specialized tasks requiring adaptation from limited examples, such as drawing insights from a few relevant prior cases or considering a constrained set of differential diagnoses. While multimodal large language models (MLLMs) have shown advances in medical visual question answering (VQA), their ability to learn multimodal tasks from context is largely unknown. We introduce SMMILE, the first expert-driven multimodal ICL benchmark for medical tasks. Eleven medical experts curated problems, each including a multimodal query and multimodal in-context examples as task demonstrations. SMMILE encompasses 111 problems (517 question-image-answer triplets) covering 6 medical specialties and 13 imaging modalities. We further introduce SMMILE++, an augmented variant with 1038 permuted problems. A comprehensive evaluation of 15 MLLMs demonstrates that most models exhibit moderate to poor multimodal ICL ability in medical tasks. In open-ended evaluations, ICL contributes only 8% average improvement over zero-shot on SMMILE and 9.4% on SMMILE++. We observe a susceptibility for irrelevant in-context examples: even a single noisy or irrelevant example can degrade performance by up to 9.5%. Moreover, example ordering exhibits a recency bias, i.e., placing the most relevant example last can lead to substantial performance improvements by up to 71%. Our findings highlight critical limitations and biases in current MLLMs when learning multimodal medical tasks from context.

SMMILE：専門家主導によるマルチモーダル医療インコンテクスト学習のベンチマーク

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

要旨

Support