医療用大規模言語モデルは容易に注意散漫になりやすい

Medical large language models are easily distracted

April 1, 2025

著者: Krithik Vishwanath, Anton Alyakin, Daniel Alexander Alber, Jin Vivian Lee, Douglas Kondziolka, Eric Karl Oermann

cs.AI

要旨

大規模言語モデル（LLM）は医療を変革する可能性を秘めていますが、現実世界の臨床シナリオにはパフォーマンスを低下させる余計な情報が含まれています。ライブの患者診察から自動的にドラフトノートを生成するアンビエントディクテーションのような支援技術の台頭は、さらなるノイズを導入する可能性があり、LLMが関連データをフィルタリングする能力を評価することが重要です。これを調査するために、USMLE形式の質問に現実世界のシミュレートされた雑音を組み込んだベンチマークであるMedDistractQAを開発しました。私たちの調査結果は、注意をそらす記述（臨床的な意味を持つ多義語が非臨床的な文脈で使用される場合や、無関係な健康状態への言及）がLLMの精度を最大17.9%低下させる可能性があることを示しています。モデルのパフォーマンスを向上させるために一般的に提案されている解決策、例えば検索拡張生成（RAG）や医療分野でのファインチューニングは、この効果を変えず、場合によっては独自の交絡因子を導入し、さらなるパフォーマンスの低下を招きました。私たちの調査結果は、LLMが本質的に、関連する臨床情報と無関係な情報を区別するための論理的なメカニズムを欠いていることを示唆しており、現実世界での応用に課題を投げかけています。MedDistractQAと私たちの結果は、LLMの余計な情報に対する耐性を強化するための堅牢な緩和戦略の必要性を強調しています。

English

Large language models (LLMs) have the potential to transform medicine, but real-world clinical scenarios contain extraneous information that can hinder performance. The rise of assistive technologies like ambient dictation, which automatically generates draft notes from live patient encounters, has the potential to introduce additional noise making it crucial to assess the ability of LLM's to filter relevant data. To investigate this, we developed MedDistractQA, a benchmark using USMLE-style questions embedded with simulated real-world distractions. Our findings show that distracting statements (polysemous words with clinical meanings used in a non-clinical context or references to unrelated health conditions) can reduce LLM accuracy by up to 17.9%. Commonly proposed solutions to improve model performance such as retrieval-augmented generation (RAG) and medical fine-tuning did not change this effect and in some cases introduced their own confounders and further degraded performance. Our findings suggest that LLMs natively lack the logical mechanisms necessary to distinguish relevant from irrelevant clinical information, posing challenges for real-world applications. MedDistractQA and our results highlights the need for robust mitigation strategies to enhance LLM resilience to extraneous information.