Hacia la Respuesta a Preguntas Médicas de Nivel Experto con Modelos de Lenguaje a Gran Escala

Resumen

Los recientes sistemas de inteligencia artificial (IA) han alcanzado hitos en "grandes desafíos" que van desde el Go hasta el plegamiento de proteínas. La capacidad de recuperar conocimiento médico, razonar sobre él y responder preguntas médicas de manera comparable a los médicos ha sido considerada durante mucho tiempo como uno de estos grandes desafíos. Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han impulsado avances significativos en la respuesta a preguntas médicas; Med-PaLM fue el primer modelo en superar una puntuación de "aprobación" en preguntas estilo del Examen de Licenciatura Médica de EE. UU. (USMLE) con un puntaje del 67.2% en el conjunto de datos MedQA. Sin embargo, este y otros trabajos previos sugirieron un margen significativo de mejora, especialmente cuando las respuestas de los modelos se compararon con las de los médicos. Aquí presentamos Med-PaLM 2, que cierra estas brechas aprovechando una combinación de mejoras en el modelo base (PaLM 2), ajuste fino en el dominio médico y estrategias de "prompting", incluyendo un novedoso enfoque de refinamiento por ensamblaje. Med-PaLM 2 obtuvo hasta un 86.5% en el conjunto de datos MedQA, superando a Med-PaLM en más de un 19% y estableciendo un nuevo estado del arte. También observamos un rendimiento que se acerca o supera el estado del arte en los conjuntos de datos MedMCQA, PubMedQA y MMLU sobre temas clínicos. Realizamos evaluaciones humanas detalladas en preguntas de formato largo a lo largo de múltiples ejes relevantes para aplicaciones clínicas. En una clasificación comparativa por pares de 1066 preguntas médicas de consumidores, los médicos prefirieron las respuestas de Med-PaLM 2 sobre las producidas por médicos en ocho de nueve ejes relacionados con la utilidad clínica (p < 0.001). También observamos mejoras significativas en comparación con Med-PaLM en cada eje de evaluación (p < 0.001) en nuevos conjuntos de datos de 240 preguntas de formato largo "adversariales" diseñadas para explorar las limitaciones de los LLMs. Si bien se necesitan más estudios para validar la eficacia de estos modelos en entornos del mundo real, estos resultados destacan un progreso rápido hacia un rendimiento de nivel médico en la respuesta a preguntas médicas.

English

Recent artificial intelligence (AI) systems have reached milestones in "grand challenges" ranging from Go to protein-folding. The capability to retrieve medical knowledge, reason over it, and answer medical questions comparably to physicians has long been viewed as one such grand challenge. Large language models (LLMs) have catalyzed significant progress in medical question answering; Med-PaLM was the first model to exceed a "passing" score in US Medical Licensing Examination (USMLE) style questions with a score of 67.2% on the MedQA dataset. However, this and other prior work suggested significant room for improvement, especially when models' answers were compared to clinicians' answers. Here we present Med-PaLM 2, which bridges these gaps by leveraging a combination of base LLM improvements (PaLM 2), medical domain finetuning, and prompting strategies including a novel ensemble refinement approach. Med-PaLM 2 scored up to 86.5% on the MedQA dataset, improving upon Med-PaLM by over 19% and setting a new state-of-the-art. We also observed performance approaching or exceeding state-of-the-art across MedMCQA, PubMedQA, and MMLU clinical topics datasets. We performed detailed human evaluations on long-form questions along multiple axes relevant to clinical applications. In pairwise comparative ranking of 1066 consumer medical questions, physicians preferred Med-PaLM 2 answers to those produced by physicians on eight of nine axes pertaining to clinical utility (p < 0.001). We also observed significant improvements compared to Med-PaLM on every evaluation axis (p < 0.001) on newly introduced datasets of 240 long-form "adversarial" questions to probe LLM limitations. While further studies are necessary to validate the efficacy of these models in real-world settings, these results highlight rapid progress towards physician-level performance in medical question answering.

Hacia la Respuesta a Preguntas Médicas de Nivel Experto con Modelos de Lenguaje a Gran Escala

Towards Expert-Level Medical Question Answering with Large Language Models

Resumen

Support