Resumen de Textos Clínicos: La Adaptación de Modelos de Lenguaje de Gran Escala Puede Superar a los Expertos Humanos

Resumen

Revisar grandes volúmenes de datos textuales y resumir información clave impone una carga significativa en la gestión del tiempo de los profesionales clínicos. Aunque los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un enorme potencial en tareas de procesamiento del lenguaje natural (PLN), su eficacia en diversas tareas de resumen clínico aún no ha sido examinada rigurosamente. En este trabajo, aplicamos métodos de adaptación de dominio en ocho LLMs, abarcando seis conjuntos de datos y cuatro tareas de resumen distintas: informes radiológicos, preguntas de pacientes, notas de evolución y diálogos médico-paciente. Nuestra evaluación cuantitativa exhaustiva revela compensaciones entre los modelos y los métodos de adaptación, además de casos en los que los avances recientes en LLMs no necesariamente conducen a mejores resultados. Además, en un estudio de lectura clínica con seis médicos, demostramos que los resúmenes generados por el LLM mejor adaptado son preferibles a los resúmenes humanos en términos de completitud y corrección. Nuestro análisis cualitativo posterior describe desafíos comunes enfrentados tanto por los LLMs como por los expertos humanos. Por último, correlacionamos métricas cuantitativas tradicionales de PLN con las puntuaciones del estudio de lectura para mejorar nuestra comprensión de cómo estas métricas se alinean con las preferencias de los médicos. Nuestra investigación marca la primera evidencia de que los LLMs superan a los expertos humanos en la tarea de resumen de textos clínicos en múltiples tareas. Esto sugiere que la integración de LLMs en los flujos de trabajo clínicos podría aliviar la carga documental, permitiendo a los profesionales clínicos centrarse más en la atención personalizada al paciente y otros aspectos humanos irremplazables de la medicina.

English

Sifting through vast textual data and summarizing key information imposes a substantial burden on how clinicians allocate their time. Although large language models (LLMs) have shown immense promise in natural language processing (NLP) tasks, their efficacy across diverse clinical summarization tasks has not yet been rigorously examined. In this work, we employ domain adaptation methods on eight LLMs, spanning six datasets and four distinct summarization tasks: radiology reports, patient questions, progress notes, and doctor-patient dialogue. Our thorough quantitative assessment reveals trade-offs between models and adaptation methods in addition to instances where recent advances in LLMs may not lead to improved results. Further, in a clinical reader study with six physicians, we depict that summaries from the best adapted LLM are preferable to human summaries in terms of completeness and correctness. Our ensuing qualitative analysis delineates mutual challenges faced by both LLMs and human experts. Lastly, we correlate traditional quantitative NLP metrics with reader study scores to enhance our understanding of how these metrics align with physician preferences. Our research marks the first evidence of LLMs outperforming human experts in clinical text summarization across multiple tasks. This implies that integrating LLMs into clinical workflows could alleviate documentation burden, empowering clinicians to focus more on personalized patient care and other irreplaceable human aspects of medicine.

Resumen de Textos Clínicos: La Adaptación de Modelos de Lenguaje de Gran Escala Puede Superar a los Expertos Humanos

Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts

Resumen

Support