MEDIC : Vers un cadre complet pour évaluer les LLM dans les applications cliniques

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Auteurs: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Résumé

Le développement rapide des Grands Modèles de Langage (GML) pour les applications de santé a suscité des appels à une évaluation holistique au-delà des benchmarks fréquemment cités tels que l'USMLE, afin de mieux refléter les performances réelles. Bien que les évaluations en conditions réelles soient des indicateurs précieux d'utilité, elles sont souvent en retard par rapport à la cadence d'évolution des GML, rendant probablement les résultats obsolètes dès leur déploiement. Ce décalage temporel rend nécessaire une évaluation initiale complète pouvant guider la sélection de modèles pour des applications cliniques spécifiques. Nous présentons MEDIC, un cadre évaluant les GML à travers cinq dimensions critiques de compétence clinique : raisonnement médical, éthique et biais, compréhension des données et du langage, apprentissage en contexte et sécurité clinique. MEDIC propose un cadre d'interrogation croisée novateur quantifiant les performances des GML dans des domaines tels que la couverture et la détection d'hallucinations, sans nécessiter de sorties de référence. Nous appliquons MEDIC pour évaluer les GML sur la réponse à des questions médicales, la sécurité, la résumé, la génération de notes et d'autres tâches. Nos résultats montrent des disparités de performances selon les tailles de modèle, les modèles de base par rapport aux modèles finement ajustés sur le plan médical, et ont des implications sur la sélection de modèles pour des applications nécessitant des forces spécifiques du modèle, telles qu'une faible hallucination ou un coût d'inférence plus bas. L'évaluation multifacette de MEDIC révèle ces compromis de performances, comblant l'écart entre les capacités théoriques et la mise en œuvre pratique dans les environnements de soins de santé, garantissant que les modèles les plus prometteurs sont identifiés et adaptés à diverses applications de santé.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.