Schalen van klinische proefmatchen met behulp van grote taalmodellen: Een casestudie in oncologie
Scaling Clinical Trial Matching Using Large Language Models: A Case Study in Oncology
August 4, 2023
Auteurs: Cliff Wong, Sheng Zheng, Yu Gu, Christine Moung, Jacob Abel, Naoto Usuyama, Roshanthi Weerasinghe, Brian Piening, Tristan Naumann, Carlo Bifulco, Hoifung Poon
cs.AI
Samenvatting
Het matchen van klinische onderzoeken is een cruciaal proces in de gezondheidszorg en ontdekking. In de praktijk wordt dit proces belemmerd door overweldigende hoeveelheden ongestructureerde data en niet-schaalbare handmatige verwerking. In dit artikel voeren we een systematische studie uit naar het opschalen van het matchen van klinische onderzoeken met behulp van grote taalmodellen (LLMs), met oncologie als focusgebied. Onze studie is gebaseerd op een systeem voor het matchen van klinische onderzoeken dat momenteel in testfase wordt ingezet binnen een groot Amerikaans gezondheidsnetwerk. De eerste bevindingen zijn veelbelovend: state-of-the-art LLMs, zoals GPT-4, kunnen direct uitgebreide toelatingscriteria van klinische onderzoeken structureren en complexe matchinglogica (bijvoorbeeld geneste AND/OR/NOT) extraheren. Hoewel nog verre van perfect, presteren LLMs aanzienlijk beter dan eerdere sterke baselines en kunnen ze dienen als een voorlopige oplossing om patiënt-onderzoekskandidaten te triageren met menselijke tussenkomst. Onze studie onthult ook enkele belangrijke groeigebieden voor het toepassen van LLMs op end-to-end matching van klinische onderzoeken, zoals contextbeperkingen en nauwkeurigheid, met name bij het structureren van patiëntinformatie uit longitudinale medische dossiers.
English
Clinical trial matching is a key process in health delivery and discovery. In
practice, it is plagued by overwhelming unstructured data and unscalable manual
processing. In this paper, we conduct a systematic study on scaling clinical
trial matching using large language models (LLMs), with oncology as the focus
area. Our study is grounded in a clinical trial matching system currently in
test deployment at a large U.S. health network. Initial findings are promising:
out of box, cutting-edge LLMs, such as GPT-4, can already structure elaborate
eligibility criteria of clinical trials and extract complex matching logic
(e.g., nested AND/OR/NOT). While still far from perfect, LLMs substantially
outperform prior strong baselines and may serve as a preliminary solution to
help triage patient-trial candidates with humans in the loop. Our study also
reveals a few significant growth areas for applying LLMs to end-to-end clinical
trial matching, such as context limitation and accuracy, especially in
structuring patient information from longitudinal medical records.