Esplorare i Confini di GPT-4 in Radiologia

Exploring the Boundaries of GPT-4 in Radiology

October 23, 2023

Autori: Qianchu Liu, Stephanie Hyland, Shruthi Bannur, Kenza Bouzid, Daniel C. Castro, Maria Teodora Wetscherek, Robert Tinn, Harshita Sharma, Fernando Pérez-García, Anton Schwaighofer, Pranav Rajpurkar, Sameer Tajdin Khanna, Hoifung Poon, Naoto Usuyama, Anja Thieme, Aditya V. Nori, Matthew P. Lungren, Ozan Oktay, Javier Alvarez-Valle

cs.AI

Abstract

Il recente successo dei modelli linguistici di grandi dimensioni (LLM) per domini generali ha significativamente cambiato il paradigma dell'elaborazione del linguaggio naturale verso un modello di fondazione unificato tra domini e applicazioni. In questo articolo, ci concentriamo sulla valutazione delle prestazioni di GPT-4, il LLM più capace finora, nelle applicazioni basate su testo per i referti radiologici, confrontandolo con i modelli specifici per la radiologia all'avanguardia (SOTA). Esplorando varie strategie di prompting, abbiamo valutato GPT-4 su una gamma diversificata di comuni compiti radiologici e abbiamo scoperto che GPT-4 supera o è alla pari con i modelli SOTA attuali per la radiologia. Con il prompting zero-shot, GPT-4 ottiene già miglioramenti sostanziali (circa il 10% di miglioramento assoluto) rispetto ai modelli radiologici nella classificazione della similarità temporale delle frasi (accuratezza) e nell'inferenza del linguaggio naturale (F_1). Per i compiti che richiedono l'apprendimento di uno stile o schema specifico del dataset (ad esempio, la sintesi dei reperti), GPT-4 migliora con il prompting basato su esempi e raggiunge il livello SOTA supervisionato. La nostra ampia analisi degli errori con un radiologo certificato mostra che GPT-4 possiede un livello sufficiente di conoscenza radiologica, con errori occasionali solo in contesti complessi che richiedono una conoscenza di dominio sfumata. Per la sintesi dei reperti, gli output di GPT-4 sono risultati complessivamente comparabili con le impressioni scritte manualmente esistenti.

English

The recent success of general-domain large language models (LLMs) has significantly changed the natural language processing paradigm towards a unified foundation model across domains and applications. In this paper, we focus on assessing the performance of GPT-4, the most capable LLM so far, on the text-based applications for radiology reports, comparing against state-of-the-art (SOTA) radiology-specific models. Exploring various prompting strategies, we evaluated GPT-4 on a diverse range of common radiology tasks and we found GPT-4 either outperforms or is on par with current SOTA radiology models. With zero-shot prompting, GPT-4 already obtains substantial gains (approx 10% absolute improvement) over radiology models in temporal sentence similarity classification (accuracy) and natural language inference (F_1). For tasks that require learning dataset-specific style or schema (e.g. findings summarisation), GPT-4 improves with example-based prompting and matches supervised SOTA. Our extensive error analysis with a board-certified radiologist shows GPT-4 has a sufficient level of radiology knowledge with only occasional errors in complex context that require nuanced domain knowledge. For findings summarisation, GPT-4 outputs are found to be overall comparable with existing manually-written impressions.