Scalabilità del Matching per Studi Clinici Utilizzando Modelli Linguistici di Grande Dimensione: Un Caso di Studio in Oncologia
Scaling Clinical Trial Matching Using Large Language Models: A Case Study in Oncology
August 4, 2023
Autori: Cliff Wong, Sheng Zheng, Yu Gu, Christine Moung, Jacob Abel, Naoto Usuyama, Roshanthi Weerasinghe, Brian Piening, Tristan Naumann, Carlo Bifulco, Hoifung Poon
cs.AI
Abstract
L'abbinamento dei pazienti ai trial clinici è un processo chiave nell'erogazione delle cure e nella scoperta medica. Nella pratica, è ostacolato da una mole schiacciante di dati non strutturati e da processi manuali non scalabili. In questo articolo, conduciamo uno studio sistematico sullo scaling dell'abbinamento dei trial clinici utilizzando modelli linguistici di grandi dimensioni (LLM), con un focus specifico sull'oncologia. Il nostro studio si basa su un sistema di abbinamento dei trial clinici attualmente in fase di test presso una grande rete sanitaria statunitense. I risultati iniziali sono promettenti: i LLM all'avanguardia, come GPT-4, sono già in grado di strutturare criteri di eleggibilità complessi per i trial clinici e di estrarre logiche di abbinamento intricate (ad esempio, condizioni annidate AND/OR/NOT). Sebbene siano ancora lontani dalla perfezione, gli LLM superano significativamente i precedenti benchmark robusti e possono servire come soluzione preliminare per aiutare a selezionare i candidati pazienti-trial con il supporto umano in loop. Il nostro studio rivela anche alcune aree di miglioramento significative per l'applicazione degli LLM all'abbinamento end-to-end dei trial clinici, come i limiti di contesto e l'accuratezza, specialmente nella strutturazione delle informazioni dei pazienti provenienti da cartelle cliniche longitudinali.
English
Clinical trial matching is a key process in health delivery and discovery. In
practice, it is plagued by overwhelming unstructured data and unscalable manual
processing. In this paper, we conduct a systematic study on scaling clinical
trial matching using large language models (LLMs), with oncology as the focus
area. Our study is grounded in a clinical trial matching system currently in
test deployment at a large U.S. health network. Initial findings are promising:
out of box, cutting-edge LLMs, such as GPT-4, can already structure elaborate
eligibility criteria of clinical trials and extract complex matching logic
(e.g., nested AND/OR/NOT). While still far from perfect, LLMs substantially
outperform prior strong baselines and may serve as a preliminary solution to
help triage patient-trial candidates with humans in the loop. Our study also
reveals a few significant growth areas for applying LLMs to end-to-end clinical
trial matching, such as context limitation and accuracy, especially in
structuring patient information from longitudinal medical records.