Resumo de Textos Clínicos: A Adaptação de Modelos de Linguagem de Grande Escala Pode Superar Especialistas Humanos

Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts

September 14, 2023

Autores: Dave Van Veen, Cara Van Uden, Louis Blankemeier, Jean-Benoit Delbrouck, Asad Aali, Christian Bluethgen, Anuj Pareek, Malgorzata Polacin, William Collins, Neera Ahuja, Curtis P. Langlotz, Jason Hom, Sergios Gatidis, John Pauly, Akshay S. Chaudhari

cs.AI

Resumo

A triagem de grandes volumes de dados textuais e a sumarização de informações-chave impõem uma carga significativa sobre a alocação de tempo dos profissionais clínicos. Embora os grandes modelos de linguagem (LLMs, do inglês *Large Language Models*) tenham demonstrado grande potencial em tarefas de processamento de linguagem natural (PLN, do inglês *Natural Language Processing*), sua eficácia em diversas tarefas de sumarização clínica ainda não foi rigorosamente examinada. Neste trabalho, empregamos métodos de adaptação de domínio em oito LLMs, abrangendo seis conjuntos de dados e quatro tarefas distintas de sumarização: relatórios de radiologia, perguntas de pacientes, notas de evolução e diálogos médico-paciente. Nossa avaliação quantitativa detalhada revela trade-offs entre modelos e métodos de adaptação, além de casos em que avanços recentes em LLMs podem não levar a resultados melhores. Além disso, em um estudo de leitura clínica com seis médicos, demonstramos que os resumos gerados pelo LLM melhor adaptado são preferíveis aos resumos humanos em termos de completude e correção. Nossa análise qualitativa subsequente delineia desafios comuns enfrentados tanto por LLMs quanto por especialistas humanos. Por fim, correlacionamos métricas quantitativas tradicionais de PLN com as pontuações do estudo de leitura para aprimorar nossa compreensão de como essas métricas se alinham com as preferências dos médicos. Nossa pesquisa marca a primeira evidência de LLMs superando especialistas humanos na sumarização de textos clínicos em múltiplas tarefas. Isso sugere que a integração de LLMs nos fluxos de trabalho clínicos poderia aliviar a carga de documentação, capacitando os profissionais clínicos a se concentrarem mais no cuidado personalizado do paciente e em outros aspectos insubstituíveis da medicina.

English

Sifting through vast textual data and summarizing key information imposes a substantial burden on how clinicians allocate their time. Although large language models (LLMs) have shown immense promise in natural language processing (NLP) tasks, their efficacy across diverse clinical summarization tasks has not yet been rigorously examined. In this work, we employ domain adaptation methods on eight LLMs, spanning six datasets and four distinct summarization tasks: radiology reports, patient questions, progress notes, and doctor-patient dialogue. Our thorough quantitative assessment reveals trade-offs between models and adaptation methods in addition to instances where recent advances in LLMs may not lead to improved results. Further, in a clinical reader study with six physicians, we depict that summaries from the best adapted LLM are preferable to human summaries in terms of completeness and correctness. Our ensuing qualitative analysis delineates mutual challenges faced by both LLMs and human experts. Lastly, we correlate traditional quantitative NLP metrics with reader study scores to enhance our understanding of how these metrics align with physician preferences. Our research marks the first evidence of LLMs outperforming human experts in clinical text summarization across multiple tasks. This implies that integrating LLMs into clinical workflows could alleviate documentation burden, empowering clinicians to focus more on personalized patient care and other irreplaceable human aspects of medicine.