Medizinische Large Language Models lassen sich leicht ablenken.

Medical large language models are easily distracted

April 1, 2025

Autoren: Krithik Vishwanath, Anton Alyakin, Daniel Alexander Alber, Jin Vivian Lee, Douglas Kondziolka, Eric Karl Oermann

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben das Potenzial, die Medizin zu transformieren, doch reale klinische Szenarien enthalten überflüssige Informationen, die die Leistung beeinträchtigen können. Der Aufstieg assistiver Technologien wie der Umgebungsdiktatur, die automatisch Entwürfe von Notizen aus Live-Patientenbegegnungen generiert, birgt das Risiko, zusätzliches Rauschen einzuführen, was es entscheidend macht, die Fähigkeit von LLMs zur Filterung relevanter Daten zu bewerten. Um dies zu untersuchen, entwickelten wir MedDistractQA, einen Benchmark, der USMLE-ähnliche Fragen verwendet, die mit simulierten realen Ablenkungen versehen sind. Unsere Ergebnisse zeigen, dass ablenkende Aussagen (polyseme Wörter mit klinischer Bedeutung, die in einem nicht-klinischen Kontext verwendet werden, oder Verweise auf unzusammenhängende Gesundheitszustände) die Genauigkeit von LLMs um bis zu 17,9 % reduzieren können. Häufig vorgeschlagene Lösungen zur Verbesserung der Modellleistung, wie retrieval-augmentierte Generierung (RAG) und medizinisches Fein-Tuning, änderten diesen Effekt nicht und führten in einigen Fällen sogar zu eigenen Störfaktoren und einer weiteren Verschlechterung der Leistung. Unsere Ergebnisse deuten darauf hin, dass LLMs von Natur aus die logischen Mechanismen fehlen, die notwendig sind, um relevante von irrelevanten klinischen Informationen zu unterscheiden, was Herausforderungen für reale Anwendungen darstellt. MedDistractQA und unsere Ergebnisse unterstreichen die Notwendigkeit robuster Minderungsstrategien, um die Widerstandsfähigkeit von LLMs gegenüber überflüssigen Informationen zu verbessern.

English

Large language models (LLMs) have the potential to transform medicine, but real-world clinical scenarios contain extraneous information that can hinder performance. The rise of assistive technologies like ambient dictation, which automatically generates draft notes from live patient encounters, has the potential to introduce additional noise making it crucial to assess the ability of LLM's to filter relevant data. To investigate this, we developed MedDistractQA, a benchmark using USMLE-style questions embedded with simulated real-world distractions. Our findings show that distracting statements (polysemous words with clinical meanings used in a non-clinical context or references to unrelated health conditions) can reduce LLM accuracy by up to 17.9%. Commonly proposed solutions to improve model performance such as retrieval-augmented generation (RAG) and medical fine-tuning did not change this effect and in some cases introduced their own confounders and further degraded performance. Our findings suggest that LLMs natively lack the logical mechanisms necessary to distinguish relevant from irrelevant clinical information, posing challenges for real-world applications. MedDistractQA and our results highlights the need for robust mitigation strategies to enhance LLM resilience to extraneous information.