Explorer les limites de GPT-4 en radiologie

Résumé

Le récent succès des grands modèles de langage (LLM) généralistes a profondément transformé le paradigme du traitement automatique des langues, orientant la discipline vers un modèle de base unifié s'appliquant à divers domaines et tâches. Dans cet article, nous nous concentrons sur l'évaluation des performances de GPT-4, le LLM le plus performant à ce jour, pour des applications textuelles liées aux comptes rendus radiologiques, en le comparant aux modèles spécifiques à la radiologie de pointe (SOTA). En explorant diverses stratégies d'incitation (prompting), nous avons évalué GPT-4 sur une gamme variée de tâches radiologiques courantes et constaté qu'il surpasse ou égalise les modèles SOTA actuels en radiologie. Avec une incitation zero-shot, GPT-4 obtient déjà des gains substantiels (environ 10 % d'amélioration absolue) par rapport aux modèles radiologiques pour la classification de similarité temporelle des phrases (précision) et l'inférence en langage naturel (F_1). Pour les tâches nécessitant l'apprentissage d'un style ou d'un schéma spécifique à un ensemble de données (par exemple, la synthèse des observations), GPT-4 s'améliore avec une incitation basée sur des exemples et atteint les performances des modèles SOTA supervisés. Notre analyse approfondie des erreurs, réalisée avec un radiologue certifié, montre que GPT-4 possède un niveau de connaissances radiologiques suffisant, avec seulement des erreurs occasionnelles dans des contextes complexes nécessitant une compréhension nuancée du domaine. Pour la synthèse des observations, les sorties de GPT-4 sont globalement comparables aux impressions rédigées manuellement existantes.

English

The recent success of general-domain large language models (LLMs) has significantly changed the natural language processing paradigm towards a unified foundation model across domains and applications. In this paper, we focus on assessing the performance of GPT-4, the most capable LLM so far, on the text-based applications for radiology reports, comparing against state-of-the-art (SOTA) radiology-specific models. Exploring various prompting strategies, we evaluated GPT-4 on a diverse range of common radiology tasks and we found GPT-4 either outperforms or is on par with current SOTA radiology models. With zero-shot prompting, GPT-4 already obtains substantial gains (approx 10% absolute improvement) over radiology models in temporal sentence similarity classification (accuracy) and natural language inference (F_1). For tasks that require learning dataset-specific style or schema (e.g. findings summarisation), GPT-4 improves with example-based prompting and matches supervised SOTA. Our extensive error analysis with a board-certified radiologist shows GPT-4 has a sufficient level of radiology knowledge with only occasional errors in complex context that require nuanced domain knowledge. For findings summarisation, GPT-4 outputs are found to be overall comparable with existing manually-written impressions.

Explorer les limites de GPT-4 en radiologie

Exploring the Boundaries of GPT-4 in Radiology

Résumé

Support