Escalonamento da Correspondência de Ensaios Clínicos Usando Modelos de Linguagem de Grande Escala: Um Estudo de Caso em Oncologia

Scaling Clinical Trial Matching Using Large Language Models: A Case Study in Oncology

August 4, 2023

Autores: Cliff Wong, Sheng Zheng, Yu Gu, Christine Moung, Jacob Abel, Naoto Usuyama, Roshanthi Weerasinghe, Brian Piening, Tristan Naumann, Carlo Bifulco, Hoifung Poon

cs.AI

Resumo

A correspondência de ensaios clínicos é um processo fundamental na prestação de serviços de saúde e na descoberta de tratamentos. Na prática, esse processo é prejudicado pelo excesso de dados não estruturados e pela dependência de processamento manual que não é escalável. Neste artigo, realizamos um estudo sistemático sobre a escalabilidade da correspondência de ensaios clínicos utilizando modelos de linguagem de grande escala (LLMs), com foco na área de oncologia. Nosso estudo é baseado em um sistema de correspondência de ensaios clínicos atualmente em fase de teste em uma grande rede de saúde dos Estados Unidos. Os resultados iniciais são promissores: modelos de ponta, como o GPT-4, já são capazes de estruturar critérios de elegibilidade detalhados de ensaios clínicos e extrair lógicas complexas de correspondência (por exemplo, operadores AND/OR/NOT aninhados). Embora ainda estejam longe da perfeição, os LLMs superam significativamente as abordagens anteriores e podem servir como uma solução preliminar para ajudar a triar candidatos paciente-ensaio com a participação de humanos no processo. Nosso estudo também revela algumas áreas importantes de aprimoramento para a aplicação de LLMs na correspondência de ensaios clínicos de ponta a ponta, como limitações de contexto e precisão, especialmente na estruturação de informações do paciente a partir de registros médicos longitudinais.

English

Clinical trial matching is a key process in health delivery and discovery. In practice, it is plagued by overwhelming unstructured data and unscalable manual processing. In this paper, we conduct a systematic study on scaling clinical trial matching using large language models (LLMs), with oncology as the focus area. Our study is grounded in a clinical trial matching system currently in test deployment at a large U.S. health network. Initial findings are promising: out of box, cutting-edge LLMs, such as GPT-4, can already structure elaborate eligibility criteria of clinical trials and extract complex matching logic (e.g., nested AND/OR/NOT). While still far from perfect, LLMs substantially outperform prior strong baselines and may serve as a preliminary solution to help triage patient-trial candidates with humans in the loop. Our study also reveals a few significant growth areas for applying LLMs to end-to-end clinical trial matching, such as context limitation and accuracy, especially in structuring patient information from longitudinal medical records.