MEDIC: Rumo a um Framework Abrangente para Avaliar LLMs em Aplicações Clínicas

MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications

September 11, 2024

Autores: Praveen K Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Nada Saadi, Hamza Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Resumo

O rápido desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) para aplicações na área da saúde tem motivado chamados para uma avaliação holística além de benchmarks frequentemente citados, como o USMLE, para melhor refletir o desempenho no mundo real. Embora as avaliações no mundo real sejam indicadores valiosos de utilidade, muitas vezes ficam aquém do ritmo de evolução dos LLMs, tornando provavelmente obsoletos os resultados ao serem implementados. Essa desconexão temporal torna necessária uma avaliação abrangente inicial que possa orientar a seleção de modelos para aplicações clínicas específicas. Apresentamos o MEDIC, um framework que avalia LLMs em cinco dimensões críticas de competência clínica: raciocínio médico, ética e viés, compreensão de dados e linguagem, aprendizado contextual e segurança clínica. O MEDIC apresenta um novo framework de contraposição quantificando o desempenho dos LLMs em áreas como cobertura e detecção de alucinações, sem necessidade de saídas de referência. Aplicamos o MEDIC para avaliar LLMs em perguntas e respostas médicas, segurança, sumarização, geração de notas e outras tarefas. Nossos resultados mostram disparidades de desempenho entre tamanhos de modelos, modelos de referência versus modelos ajustados medicamente, e têm implicações na seleção de modelos para aplicações que requerem habilidades específicas do modelo, como baixa alucinação ou menor custo de inferência. A avaliação multifacetada do MEDIC revela esses trade-offs de desempenho, reduzindo a lacuna entre capacidades teóricas e implementação prática em ambientes de saúde, garantindo que os modelos mais promissores sejam identificados e adaptados para diversas aplicações na área da saúde.

English

The rapid development of Large Language Models (LLMs) for healthcare applications has spurred calls for holistic evaluation beyond frequently-cited benchmarks like USMLE, to better reflect real-world performance. While real-world assessments are valuable indicators of utility, they often lag behind the pace of LLM evolution, likely rendering findings obsolete upon deployment. This temporal disconnect necessitates a comprehensive upfront evaluation that can guide model selection for specific clinical applications. We introduce MEDIC, a framework assessing LLMs across five critical dimensions of clinical competence: medical reasoning, ethics and bias, data and language understanding, in-context learning, and clinical safety. MEDIC features a novel cross-examination framework quantifying LLM performance across areas like coverage and hallucination detection, without requiring reference outputs. We apply MEDIC to evaluate LLMs on medical question-answering, safety, summarization, note generation, and other tasks. Our results show performance disparities across model sizes, baseline vs medically finetuned models, and have implications on model selection for applications requiring specific model strengths, such as low hallucination or lower cost of inference. MEDIC's multifaceted evaluation reveals these performance trade-offs, bridging the gap between theoretical capabilities and practical implementation in healthcare settings, ensuring that the most promising models are identified and adapted for diverse healthcare applications.