Résumé automatique de textes cliniques : L'adaptation de grands modèles de langage peut surpasser les experts humains

Résumé

Le tri et la synthèse des informations clés à partir de vastes quantités de données textuelles représentent une charge importante pour la gestion du temps des cliniciens. Bien que les grands modèles de langage (LLMs) aient montré un immense potentiel dans les tâches de traitement du langage naturel (NLP), leur efficacité dans diverses tâches de synthèse clinique n'a pas encore été rigoureusement examinée. Dans ce travail, nous appliquons des méthodes d'adaptation de domaine à huit LLMs, couvrant six ensembles de données et quatre tâches de synthèse distinctes : les rapports de radiologie, les questions des patients, les notes d'évolution et les dialogues médecin-patient. Notre évaluation quantitative approfondie révèle des compromis entre les modèles et les méthodes d'adaptation, ainsi que des cas où les avancées récentes des LLMs ne conduisent pas nécessairement à de meilleurs résultats. De plus, dans une étude de lecture clinique impliquant six médecins, nous montrons que les synthèses produites par le LLM le mieux adapté sont préférables aux synthèses humaines en termes d'exhaustivité et de précision. Notre analyse qualitative subséquente met en lumière les défis communs rencontrés à la fois par les LLMs et les experts humains. Enfin, nous corrélons les métriques quantitatives traditionnelles du NLP avec les scores de l'étude de lecture pour mieux comprendre comment ces métriques s'alignent sur les préférences des médecins. Notre recherche constitue la première preuve que les LLMs surpassent les experts humains dans la synthèse de textes cliniques sur plusieurs tâches. Cela suggère que l'intégration des LLMs dans les flux de travail cliniques pourrait alléger la charge documentaire, permettant aux cliniciens de se concentrer davantage sur les soins personnalisés aux patients et sur d'autres aspects irremplaçables de la médecine.

English

Sifting through vast textual data and summarizing key information imposes a substantial burden on how clinicians allocate their time. Although large language models (LLMs) have shown immense promise in natural language processing (NLP) tasks, their efficacy across diverse clinical summarization tasks has not yet been rigorously examined. In this work, we employ domain adaptation methods on eight LLMs, spanning six datasets and four distinct summarization tasks: radiology reports, patient questions, progress notes, and doctor-patient dialogue. Our thorough quantitative assessment reveals trade-offs between models and adaptation methods in addition to instances where recent advances in LLMs may not lead to improved results. Further, in a clinical reader study with six physicians, we depict that summaries from the best adapted LLM are preferable to human summaries in terms of completeness and correctness. Our ensuing qualitative analysis delineates mutual challenges faced by both LLMs and human experts. Lastly, we correlate traditional quantitative NLP metrics with reader study scores to enhance our understanding of how these metrics align with physician preferences. Our research marks the first evidence of LLMs outperforming human experts in clinical text summarization across multiple tasks. This implies that integrating LLMs into clinical workflows could alleviate documentation burden, empowering clinicians to focus more on personalized patient care and other irreplaceable human aspects of medicine.

Résumé automatique de textes cliniques : L'adaptation de grands modèles de langage peut surpasser les experts humains

Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts

Résumé

Support