Auf dem Weg zu Expertenniveau in der medizinischen Fragebeantwortung mit großen Sprachmodellen

Zusammenfassung

Kürzliche Fortschritte in der künstlichen Intelligenz (KI) haben Meilensteine in „großen Herausforderungen“ erreicht, die von Go bis hin zur Proteinfaltung reichen. Die Fähigkeit, medizinisches Wissen abzurufen, darüber zu schlussfolgern und medizinische Fragen auf einem mit Ärzten vergleichbaren Niveau zu beantworten, wurde lange als eine solche große Herausforderung angesehen. Große Sprachmodelle (Large Language Models, LLMs) haben erhebliche Fortschritte bei der Beantwortung medizinischer Fragen vorangetrieben; Med-PaLM war das erste Modell, das eine „Bestanden“-Schwelle bei Fragen im Stil des US Medical Licensing Examination (USMLE) mit einer Punktzahl von 67,2 % auf dem MedQA-Datensatz überschritt. Allerdings deuteten diese und andere frühere Arbeiten auf erheblichen Verbesserungsbedarf hin, insbesondere wenn die Antworten der Modelle mit denen von Klinikern verglichen wurden. Hier stellen wir Med-PaLM 2 vor, das diese Lücken durch eine Kombination aus Verbesserungen des Basismodells (PaLM 2), Feinabstimmung im medizinischen Bereich und Prompting-Strategien, einschließlich eines neuartigen Ensemble-Verfeinerungsansatzes, schließt. Med-PaLM 2 erreichte bis zu 86,5 % auf dem MedQA-Datensatz, verbesserte sich gegenüber Med-PaLM um über 19 % und setzte damit einen neuen Maßstab. Wir beobachteten auch Leistungen, die den Stand der Technik auf den Datensätzen MedMCQA, PubMedQA und MMLU klinischer Themen erreichten oder übertrafen. Wir führten detaillierte menschliche Bewertungen von Langformfragen entlang mehrerer für klinische Anwendungen relevanter Achsen durch. Bei der paarweisen vergleichenden Bewertung von 1066 medizinischen Verbraucherfragen bevorzugten Ärzte die Antworten von Med-PaLM 2 gegenüber denen von Ärzten auf acht von neun Achsen, die die klinische Nützlichkeit betreffen (p < 0,001). Wir beobachteten auch signifikante Verbesserungen gegenüber Med-PaLM auf jeder Bewertungsachse (p < 0,001) auf neu eingeführten Datensätzen mit 240 Langform-„Adversarial“-Fragen, die die Grenzen von LLMs untersuchen sollen. Obwohl weitere Studien notwendig sind, um die Wirksamkeit dieser Modelle in realen Anwendungen zu validieren, unterstreichen diese Ergebnisse den raschen Fortschritt hin zu einer leistungsfähigen, auf Arztniveau liegenden Beantwortung medizinischer Fragen.

English

Recent artificial intelligence (AI) systems have reached milestones in "grand challenges" ranging from Go to protein-folding. The capability to retrieve medical knowledge, reason over it, and answer medical questions comparably to physicians has long been viewed as one such grand challenge. Large language models (LLMs) have catalyzed significant progress in medical question answering; Med-PaLM was the first model to exceed a "passing" score in US Medical Licensing Examination (USMLE) style questions with a score of 67.2% on the MedQA dataset. However, this and other prior work suggested significant room for improvement, especially when models' answers were compared to clinicians' answers. Here we present Med-PaLM 2, which bridges these gaps by leveraging a combination of base LLM improvements (PaLM 2), medical domain finetuning, and prompting strategies including a novel ensemble refinement approach. Med-PaLM 2 scored up to 86.5% on the MedQA dataset, improving upon Med-PaLM by over 19% and setting a new state-of-the-art. We also observed performance approaching or exceeding state-of-the-art across MedMCQA, PubMedQA, and MMLU clinical topics datasets. We performed detailed human evaluations on long-form questions along multiple axes relevant to clinical applications. In pairwise comparative ranking of 1066 consumer medical questions, physicians preferred Med-PaLM 2 answers to those produced by physicians on eight of nine axes pertaining to clinical utility (p < 0.001). We also observed significant improvements compared to Med-PaLM on every evaluation axis (p < 0.001) on newly introduced datasets of 240 long-form "adversarial" questions to probe LLM limitations. While further studies are necessary to validate the efficacy of these models in real-world settings, these results highlight rapid progress towards physician-level performance in medical question answering.

Auf dem Weg zu Expertenniveau in der medizinischen Fragebeantwortung mit großen Sprachmodellen

Towards Expert-Level Medical Question Answering with Large Language Models

Zusammenfassung

Support