Медицинские большие языковые модели легко отвлекаются.

Medical large language models are easily distracted

April 1, 2025

Авторы: Krithik Vishwanath, Anton Alyakin, Daniel Alexander Alber, Jin Vivian Lee, Douglas Kondziolka, Eric Karl Oermann

cs.AI

Аннотация

Крупные языковые модели (LLM) обладают потенциалом для преобразования медицины, однако реальные клинические сценарии содержат избыточную информацию, которая может снижать их эффективность. Появление вспомогательных технологий, таких как автоматическая транскрипция, которая генерирует черновые записи на основе живых взаимодействий с пациентами, может вносить дополнительный шум, что делает критически важным оценку способности LLM фильтровать релевантные данные. Для изучения этого вопроса мы разработали MedDistractQA — эталонный набор, использующий вопросы в стиле USMLE, в которые встроены смоделированные отвлекающие элементы, характерные для реальной практики. Наши результаты показывают, что отвлекающие утверждения (например, многозначные слова с медицинским значением, используемые в немедицинском контексте, или упоминания несвязанных состояний здоровья) могут снижать точность LLM до 17,9%. Часто предлагаемые решения для улучшения производительности моделей, такие как генерация с использованием извлечения данных (RAG) и тонкая настройка на медицинских данных, не устранили этот эффект, а в некоторых случаях даже вносили дополнительные искажения и ухудшали результаты. Наши данные свидетельствуют о том, что LLM изначально не обладают логическими механизмами, необходимыми для различения релевантной и нерелевантной клинической информации, что создает вызовы для их применения в реальных условиях. MedDistractQA и наши результаты подчеркивают необходимость разработки надежных стратегий для повышения устойчивости LLM к избыточной информации.

English

Large language models (LLMs) have the potential to transform medicine, but real-world clinical scenarios contain extraneous information that can hinder performance. The rise of assistive technologies like ambient dictation, which automatically generates draft notes from live patient encounters, has the potential to introduce additional noise making it crucial to assess the ability of LLM's to filter relevant data. To investigate this, we developed MedDistractQA, a benchmark using USMLE-style questions embedded with simulated real-world distractions. Our findings show that distracting statements (polysemous words with clinical meanings used in a non-clinical context or references to unrelated health conditions) can reduce LLM accuracy by up to 17.9%. Commonly proposed solutions to improve model performance such as retrieval-augmented generation (RAG) and medical fine-tuning did not change this effect and in some cases introduced their own confounders and further degraded performance. Our findings suggest that LLMs natively lack the logical mechanisms necessary to distinguish relevant from irrelevant clinical information, posing challenges for real-world applications. MedDistractQA and our results highlights the need for robust mitigation strategies to enhance LLM resilience to extraneous information.