Skalierung der Patientenrekrutierung für klinische Studien mithilfe von Large Language Models: Eine Fallstudie in der Onkologie
Scaling Clinical Trial Matching Using Large Language Models: A Case Study in Oncology
August 4, 2023
papers.authors: Cliff Wong, Sheng Zheng, Yu Gu, Christine Moung, Jacob Abel, Naoto Usuyama, Roshanthi Weerasinghe, Brian Piening, Tristan Naumann, Carlo Bifulco, Hoifung Poon
cs.AI
papers.abstract
Die Zuordnung von Patienten zu klinischen Studien ist ein zentraler Prozess in der Gesundheitsversorgung und Forschung. In der Praxis wird dieser Prozess jedoch durch überwältigende Mengen unstrukturierter Daten und manuelle, nicht skalierbare Bearbeitung erschwert. In diesem Artikel führen wir eine systematische Studie zur Skalierung der klinischen Studienzuordnung mithilfe von Large Language Models (LLMs) durch, wobei der Schwerpunkt auf der Onkologie liegt. Unsere Studie basiert auf einem klinischen Studienzuordnungssystem, das derzeit in einem großen US-Gesundheitsnetzwerk im Testbetrieb eingesetzt wird. Die ersten Ergebnisse sind vielversprechend: State-of-the-Art-LLMs wie GPT-4 können bereits komplexe Zulassungskriterien für klinische Studien strukturieren und anspruchsvolle Zuordnungslogik (z. B. verschachtelte UND/ODER/NICHT-Bedingungen) extrahieren. Obwohl noch weit von Perfektion entfernt, übertreffen LLMs bisherige starke Baselines deutlich und könnten als vorläufige Lösung dienen, um die Zuordnung von Patienten zu Studienkandidaten mit menschlicher Beteiligung zu unterstützen. Unsere Studie zeigt auch einige bedeutende Entwicklungsbereiche für den Einsatz von LLMs in der end-to-end klinischen Studienzuordnung auf, wie z. B. Kontextbeschränkungen und Genauigkeit, insbesondere bei der Strukturierung von Patienteninformationen aus longitudinalen medizinischen Aufzeichnungen.
English
Clinical trial matching is a key process in health delivery and discovery. In
practice, it is plagued by overwhelming unstructured data and unscalable manual
processing. In this paper, we conduct a systematic study on scaling clinical
trial matching using large language models (LLMs), with oncology as the focus
area. Our study is grounded in a clinical trial matching system currently in
test deployment at a large U.S. health network. Initial findings are promising:
out of box, cutting-edge LLMs, such as GPT-4, can already structure elaborate
eligibility criteria of clinical trials and extract complex matching logic
(e.g., nested AND/OR/NOT). While still far from perfect, LLMs substantially
outperform prior strong baselines and may serve as a preliminary solution to
help triage patient-trial candidates with humans in the loop. Our study also
reveals a few significant growth areas for applying LLMs to end-to-end clinical
trial matching, such as context limitation and accuracy, especially in
structuring patient information from longitudinal medical records.