Клиническое суммирование текста: адаптация крупных языковых моделей может превзойти экспертов-людей
Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts
September 14, 2023
Авторы: Dave Van Veen, Cara Van Uden, Louis Blankemeier, Jean-Benoit Delbrouck, Asad Aali, Christian Bluethgen, Anuj Pareek, Malgorzata Polacin, William Collins, Neera Ahuja, Curtis P. Langlotz, Jason Hom, Sergios Gatidis, John Pauly, Akshay S. Chaudhari
cs.AI
Аннотация
Анализ обширных текстовых данных и выделение ключевой информации создают значительную нагрузку на распределение времени клиницистов. Хотя крупные языковые модели (LLM) продемонстрировали огромный потенциал в задачах обработки естественного языка (NLP), их эффективность в различных задачах клинического суммирования еще не была тщательно изучена. В данной работе мы применяем методы адаптации к предметной области для восьми LLM, охватывая шесть наборов данных и четыре различные задачи суммирования: радиологические отчеты, вопросы пациентов, записи о ходе лечения и диалоги врача и пациента. Наш тщательный количественный анализ выявляет компромиссы между моделями и методами адаптации, а также случаи, когда последние достижения в области LLM могут не приводить к улучшению результатов. Кроме того, в клиническом исследовании с участием шести врачей мы показываем, что сводки, созданные наилучшим образом адаптированной LLM, предпочтительнее человеческих сводок с точки зрения полноты и точности. Последующий качественный анализ выявляет общие проблемы, с которыми сталкиваются как LLM, так и эксперты-люди. Наконец, мы соотносим традиционные количественные метрики NLP с оценками из исследования с участием врачей, чтобы углубить понимание того, как эти метрики соответствуют предпочтениям клиницистов. Наше исследование представляет первые доказательства того, что LLM превосходят экспертов-людей в суммировании клинических текстов в нескольких задачах. Это предполагает, что интеграция LLM в клинические процессы может снизить нагрузку на документацию, позволяя клиницистам больше сосредоточиться на персонализированном уходе за пациентами и других незаменимых аспектах медицины, требующих человеческого подхода.
English
Sifting through vast textual data and summarizing key information imposes a
substantial burden on how clinicians allocate their time. Although large
language models (LLMs) have shown immense promise in natural language
processing (NLP) tasks, their efficacy across diverse clinical summarization
tasks has not yet been rigorously examined. In this work, we employ domain
adaptation methods on eight LLMs, spanning six datasets and four distinct
summarization tasks: radiology reports, patient questions, progress notes, and
doctor-patient dialogue. Our thorough quantitative assessment reveals
trade-offs between models and adaptation methods in addition to instances where
recent advances in LLMs may not lead to improved results. Further, in a
clinical reader study with six physicians, we depict that summaries from the
best adapted LLM are preferable to human summaries in terms of completeness and
correctness. Our ensuing qualitative analysis delineates mutual challenges
faced by both LLMs and human experts. Lastly, we correlate traditional
quantitative NLP metrics with reader study scores to enhance our understanding
of how these metrics align with physician preferences. Our research marks the
first evidence of LLMs outperforming human experts in clinical text
summarization across multiple tasks. This implies that integrating LLMs into
clinical workflows could alleviate documentation burden, empowering clinicians
to focus more on personalized patient care and other irreplaceable human
aspects of medicine.