MEDIC: Комплексный подход к оценке LLM в клинических приложениях

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Авторы: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) для медицинских приложений вызвало призывы к комплексной оценке за пределами часто упоминаемых бенчмарков, таких как USMLE, чтобы лучше отражать реальную производительность. Хотя оценки в реальных условиях являются ценными показателями полезности, они часто отстают от темпа эволюции LLM, что, вероятно, делает полученные результаты устаревшими при внедрении. Этот временной разрыв требует комплексной начальной оценки, которая может направить выбор модели для конкретных клинических приложений. Мы представляем MEDIC, фреймворк оценки LLM по пяти критическим измерениям клинической компетентности: медицинское мышление, этика и предвзятость, понимание данных и языка, обучение в контексте и клиническая безопасность. MEDIC включает в себя новый фреймворк перекрестного анализа, количественно оценивающий производительность LLM по таким областям, как охват и обнаружение галлюцинаций, без необходимости ссылочных выходных данных. Мы применяем MEDIC для оценки LLM в медицинском вопросно-ответном диалоге, безопасности, суммировании, генерации заметок и других задачах. Наши результаты показывают различия в производительности в зависимости от размера модели, базовых моделей по сравнению с медицински настроенными моделями, и имеют влияние на выбор модели для приложений, требующих конкретных сильных сторон модели, таких как низкая галлюцинация или более низкая стоимость вывода. Многофакторная оценка MEDIC раскрывает эти компромиссы в производительности, сокращая разрыв между теоретическими возможностями и практической реализацией в медицинских учреждениях, обеспечивая выявление наиболее перспективных моделей и их адаптацию для различных медицинских приложений.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.