Klinische Tekstsamenvatting: Aanpassing van Grote Taalmodellen Kan Menselijke Experts Overtreffen
Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts
September 14, 2023
Auteurs: Dave Van Veen, Cara Van Uden, Louis Blankemeier, Jean-Benoit Delbrouck, Asad Aali, Christian Bluethgen, Anuj Pareek, Malgorzata Polacin, William Collins, Neera Ahuja, Curtis P. Langlotz, Jason Hom, Sergios Gatidis, John Pauly, Akshay S. Chaudhari
cs.AI
Samenvatting
Het doorzoeken van grote hoeveelheden tekstuele gegevens en het samenvatten van belangrijke informatie legt een aanzienlijke druk op de tijdsbesteding van clinici. Hoewel grote taalmodelen (LLM's) veelbelovend zijn gebleken in taken voor natuurlijke taalverwerking (NLP), is hun effectiviteit bij diverse klinische samenvattings taken nog niet grondig onderzocht. In dit werk passen we domeinadaptatiemethoden toe op acht LLM's, waarbij we zes datasets en vier verschillende samenvattings taken bestrijken: radiologieverslagen, patiëntenvragen, voortgangsnotities en arts-patiëntdialogen. Onze uitgebreide kwantitatieve beoordeling onthult afwegingen tussen modellen en adaptatiemethoden, evenals gevallen waarin recente vooruitgang in LLM's niet tot verbeterde resultaten leidt. Verder tonen we in een klinische lezersstudie met zes artsen aan dat samenvattingen van het best aangepaste LLM de voorkeur genieten boven menselijke samenvattingen wat betreft volledigheid en juistheid. Onze daaropvolgende kwalitatieve analyse beschrijft gedeelde uitdagingen waar zowel LLM's als menselijke experts mee te maken hebben. Tot slot correleren we traditionele kwantitatieve NLP-metrics met scores uit de lezersstudie om ons begrip te vergroten van hoe deze metrics overeenkomen met de voorkeuren van artsen. Ons onderzoek markeert het eerste bewijs dat LLM's menselijke experts overtreffen in klinische tekstsamenvatting over meerdere taken. Dit impliceert dat de integratie van LLM's in klinische workflows de documentatielast kan verlichten, waardoor clinici meer kunnen focussen op gepersonaliseerde patiëntenzorg en andere onvervangbare menselijke aspecten van de geneeskunde.
English
Sifting through vast textual data and summarizing key information imposes a
substantial burden on how clinicians allocate their time. Although large
language models (LLMs) have shown immense promise in natural language
processing (NLP) tasks, their efficacy across diverse clinical summarization
tasks has not yet been rigorously examined. In this work, we employ domain
adaptation methods on eight LLMs, spanning six datasets and four distinct
summarization tasks: radiology reports, patient questions, progress notes, and
doctor-patient dialogue. Our thorough quantitative assessment reveals
trade-offs between models and adaptation methods in addition to instances where
recent advances in LLMs may not lead to improved results. Further, in a
clinical reader study with six physicians, we depict that summaries from the
best adapted LLM are preferable to human summaries in terms of completeness and
correctness. Our ensuing qualitative analysis delineates mutual challenges
faced by both LLMs and human experts. Lastly, we correlate traditional
quantitative NLP metrics with reader study scores to enhance our understanding
of how these metrics align with physician preferences. Our research marks the
first evidence of LLMs outperforming human experts in clinical text
summarization across multiple tasks. This implies that integrating LLMs into
clinical workflows could alleviate documentation burden, empowering clinicians
to focus more on personalized patient care and other irreplaceable human
aspects of medicine.