Klinische Textzusammenfassung: Die Anpassung großer Sprachmodelle kann die Leistung menschlicher Experten übertreffen.
Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts
September 14, 2023
Autoren: Dave Van Veen, Cara Van Uden, Louis Blankemeier, Jean-Benoit Delbrouck, Asad Aali, Christian Bluethgen, Anuj Pareek, Malgorzata Polacin, William Collins, Neera Ahuja, Curtis P. Langlotz, Jason Hom, Sergios Gatidis, John Pauly, Akshay S. Chaudhari
cs.AI
Zusammenfassung
Das Durchsuchen umfangreicher Textdaten und die Zusammenfassung wesentlicher Informationen stellt eine erhebliche Belastung für die Zeitplanung von Klinikern dar. Obwohl große Sprachmodelle (LLMs) im Bereich der natürlichen Sprachverarbeitung (NLP) vielversprechende Ergebnisse gezeigt haben, wurde ihre Wirksamkeit bei verschiedenen klinischen Zusammenfassungsaufgaben bisher nicht umfassend untersucht. In dieser Arbeit wenden wir Domänenanpassungsmethoden auf acht LLMs an, die sechs Datensätze und vier unterschiedliche Zusammenfassungsaufgaben abdecken: Radiologieberichte, Patientenanfragen, Fortschrittsnotizen und Arzt-Patienten-Dialoge. Unsere umfassende quantitative Bewertung zeigt Kompromisse zwischen Modellen und Anpassungsmethoden sowie Fälle, in denen aktuelle Fortschritte bei LLMs nicht zu verbesserten Ergebnissen führen. Darüber hinaus zeigen wir in einer klinischen Leserstudie mit sechs Ärzten, dass Zusammenfassungen des am besten angepassten LLMs in Bezug auf Vollständigkeit und Korrektheit menschlichen Zusammenfassungen vorzuziehen sind. Unsere anschließende qualitative Analyse skizziert gemeinsame Herausforderungen, denen sowohl LLMs als auch menschliche Experten gegenüberstehen. Schließlich korrelieren wir traditionelle quantitative NLP-Metriken mit den Bewertungen aus der Leserstudie, um unser Verständnis dafür zu verbessern, wie diese Metriken mit den Präferenzen der Ärzte übereinstimmen. Unsere Forschung liefert den ersten Nachweis dafür, dass LLMs menschliche Experten bei der klinischen Textzusammenfassung über mehrere Aufgaben hinweg übertreffen. Dies deutet darauf hin, dass die Integration von LLMs in klinische Arbeitsabläufe die Dokumentationslast verringern könnte, wodurch Kliniker sich stärker auf die personalisierte Patientenversorgung und andere unersetzliche menschliche Aspekte der Medizin konzentrieren können.
English
Sifting through vast textual data and summarizing key information imposes a
substantial burden on how clinicians allocate their time. Although large
language models (LLMs) have shown immense promise in natural language
processing (NLP) tasks, their efficacy across diverse clinical summarization
tasks has not yet been rigorously examined. In this work, we employ domain
adaptation methods on eight LLMs, spanning six datasets and four distinct
summarization tasks: radiology reports, patient questions, progress notes, and
doctor-patient dialogue. Our thorough quantitative assessment reveals
trade-offs between models and adaptation methods in addition to instances where
recent advances in LLMs may not lead to improved results. Further, in a
clinical reader study with six physicians, we depict that summaries from the
best adapted LLM are preferable to human summaries in terms of completeness and
correctness. Our ensuing qualitative analysis delineates mutual challenges
faced by both LLMs and human experts. Lastly, we correlate traditional
quantitative NLP metrics with reader study scores to enhance our understanding
of how these metrics align with physician preferences. Our research marks the
first evidence of LLMs outperforming human experts in clinical text
summarization across multiple tasks. This implies that integrating LLMs into
clinical workflows could alleviate documentation burden, empowering clinicians
to focus more on personalized patient care and other irreplaceable human
aspects of medicine.