Escalando la Asignación de Ensayos Clínicos Utilizando Modelos de Lenguaje a Gran Escala: Un Estudio de Caso en Oncología

Scaling Clinical Trial Matching Using Large Language Models: A Case Study in Oncology

August 4, 2023

Autores: Cliff Wong, Sheng Zheng, Yu Gu, Christine Moung, Jacob Abel, Naoto Usuyama, Roshanthi Weerasinghe, Brian Piening, Tristan Naumann, Carlo Bifulco, Hoifung Poon

cs.AI

Resumen

La selección de ensayos clínicos es un proceso clave en la prestación de servicios de salud y el descubrimiento médico. En la práctica, se ve afectada por el abrumador volumen de datos no estructurados y procesos manuales que no escalan. En este artículo, realizamos un estudio sistemático sobre la escalabilidad de la selección de ensayos clínicos utilizando modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), con un enfoque en oncología. Nuestro estudio se basa en un sistema de selección de ensayos clínicos actualmente en fase de prueba en una gran red de salud de los Estados Unidos. Los hallazgos iniciales son prometedores: desde el primer uso, LLMs de vanguardia, como GPT-4, ya pueden estructurar criterios de elegibilidad detallados de ensayos clínicos y extraer lógicas de coincidencia complejas (por ejemplo, anidaciones de AND/OR/NOT). Aunque aún lejos de ser perfectos, los LLMs superan significativamente los puntos de referencia anteriores y pueden servir como una solución preliminar para ayudar a priorizar candidatos paciente-ensayo con intervención humana. Nuestro estudio también revela áreas importantes de mejora para la aplicación de LLMs en la selección de ensayos clínicos de extremo a extremo, como las limitaciones de contexto y la precisión, especialmente en la estructuración de información del paciente a partir de registros médicos longitudinales.

English

Clinical trial matching is a key process in health delivery and discovery. In practice, it is plagued by overwhelming unstructured data and unscalable manual processing. In this paper, we conduct a systematic study on scaling clinical trial matching using large language models (LLMs), with oncology as the focus area. Our study is grounded in a clinical trial matching system currently in test deployment at a large U.S. health network. Initial findings are promising: out of box, cutting-edge LLMs, such as GPT-4, can already structure elaborate eligibility criteria of clinical trials and extract complex matching logic (e.g., nested AND/OR/NOT). While still far from perfect, LLMs substantially outperform prior strong baselines and may serve as a preliminary solution to help triage patient-trial candidates with humans in the loop. Our study also reveals a few significant growth areas for applying LLMs to end-to-end clinical trial matching, such as context limitation and accuracy, especially in structuring patient information from longitudinal medical records.