Riassumere Testi Clinici: L'Adattamento di Modelli Linguistici di Grande Scala Può Superare gli Esperti Umani

Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts

September 14, 2023

Autori: Dave Van Veen, Cara Van Uden, Louis Blankemeier, Jean-Benoit Delbrouck, Asad Aali, Christian Bluethgen, Anuj Pareek, Malgorzata Polacin, William Collins, Neera Ahuja, Curtis P. Langlotz, Jason Hom, Sergios Gatidis, John Pauly, Akshay S. Chaudhari

cs.AI

Abstract

Esaminare vasti dati testuali e riassumere le informazioni chiave impone un onere significativo su come i clinici allocano il loro tempo. Sebbene i grandi modelli linguistici (LLM) abbiano dimostrato un enorme potenziale nei compiti di elaborazione del linguaggio naturale (NLP), la loro efficacia in diverse attività di sintesi clinica non è stata ancora rigorosamente esaminata. In questo lavoro, utilizziamo metodi di adattamento del dominio su otto LLM, coprendo sei dataset e quattro distinti compiti di sintesi: referti radiologici, domande dei pazienti, note di progresso e dialoghi medico-paziente. La nostra accurata valutazione quantitativa rivela compromessi tra modelli e metodi di adattamento, oltre a casi in cui i recenti progressi negli LLM potrebbero non portare a risultati migliorati. Inoltre, in uno studio clinico con sei medici, dimostriamo che i riassunti del LLM meglio adattato sono preferibili a quelli umani in termini di completezza e correttezza. La nostra successiva analisi qualitativa delinea le sfide comuni affrontate sia dagli LLM che dagli esperti umani. Infine, correliamo le tradizionali metriche quantitative di NLP con i punteggi dello studio per migliorare la nostra comprensione di come queste metriche si allineano con le preferenze dei medici. La nostra ricerca rappresenta la prima evidenza di LLM che superano gli esperti umani nella sintesi di testi clinici in più compiti. Ciò implica che l'integrazione degli LLM nei flussi di lavoro clinici potrebbe alleviare il carico documentale, consentendo ai clinici di concentrarsi maggiormente sull'assistenza personalizzata ai pazienti e su altri aspetti insostituibili della medicina.

English

Sifting through vast textual data and summarizing key information imposes a substantial burden on how clinicians allocate their time. Although large language models (LLMs) have shown immense promise in natural language processing (NLP) tasks, their efficacy across diverse clinical summarization tasks has not yet been rigorously examined. In this work, we employ domain adaptation methods on eight LLMs, spanning six datasets and four distinct summarization tasks: radiology reports, patient questions, progress notes, and doctor-patient dialogue. Our thorough quantitative assessment reveals trade-offs between models and adaptation methods in addition to instances where recent advances in LLMs may not lead to improved results. Further, in a clinical reader study with six physicians, we depict that summaries from the best adapted LLM are preferable to human summaries in terms of completeness and correctness. Our ensuing qualitative analysis delineates mutual challenges faced by both LLMs and human experts. Lastly, we correlate traditional quantitative NLP metrics with reader study scores to enhance our understanding of how these metrics align with physician preferences. Our research marks the first evidence of LLMs outperforming human experts in clinical text summarization across multiple tasks. This implies that integrating LLMs into clinical workflows could alleviate documentation burden, empowering clinicians to focus more on personalized patient care and other irreplaceable human aspects of medicine.