MEDIC: Hacia un Marco Integral para Evaluar Modelos de Lenguaje con Grandes Capacidades en Aplicaciones Clínicas

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Autores: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Resumen

El rápido desarrollo de Modelos de Lenguaje de Gran Tamaño (LLMs, por sus siglas en inglés) para aplicaciones en salud ha generado llamados para una evaluación holística más allá de los benchmarks frecuentemente citados como el USMLE, para reflejar mejor el rendimiento en el mundo real. Si bien las evaluaciones en el mundo real son indicadores valiosos de utilidad, a menudo van rezagadas respecto al ritmo de evolución de los LLMs, lo que probablemente vuelva obsoletos los hallazgos al momento de su implementación. Esta desconexión temporal hace necesaria una evaluación integral inicial que pueda guiar la selección de modelos para aplicaciones clínicas específicas. Presentamos MEDIC, un marco que evalúa LLMs a lo largo de cinco dimensiones críticas de competencia clínica: razonamiento médico, ética y sesgo, comprensión de datos e idioma, aprendizaje en contexto y seguridad clínica. MEDIC cuenta con un novedoso marco de contraste que cuantifica el rendimiento de los LLMs en áreas como cobertura y detección de alucinaciones, sin necesidad de salidas de referencia. Aplicamos MEDIC para evaluar LLMs en preguntas y respuestas médicas, seguridad, resumen, generación de notas y otras tareas. Nuestros resultados muestran disparidades de rendimiento entre tamaños de modelos, modelos base frente a modelos ajustados médicamente, y tienen implicaciones en la selección de modelos para aplicaciones que requieren fortalezas específicas del modelo, como baja alucinación o menor costo de inferencia. La evaluación multifacética de MEDIC revela estos compromisos de rendimiento, cerrando la brecha entre capacidades teóricas e implementación práctica en entornos de salud, asegurando que se identifiquen y adapten los modelos más prometedores para diversas aplicaciones en salud.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.