Erkundung der Grenzen von GPT-4 in der Radiologie

Zusammenfassung

Der jüngste Erfolg von allgemeinen großen Sprachmodellen (LLMs) hat das Paradigma der natürlichen Sprachverarbeitung erheblich verändert, hin zu einem einheitlichen Basismodell über Domänen und Anwendungen hinweg. In diesem Artikel konzentrieren wir uns auf die Bewertung der Leistung von GPT-4, dem bisher leistungsfähigsten LLM, bei textbasierten Anwendungen für Radiologieberichte, im Vergleich zu state-of-the-art (SOTA) radiologiespezifischen Modellen. Durch die Untersuchung verschiedener Prompting-Strategien haben wir GPT-4 bei einer Vielzahl gängiger radiologischer Aufgaben evaluiert und festgestellt, dass GPT-4 entweder besser abschneidet oder mit den aktuellen SOTA-Radiologiemodellen gleichauf liegt. Mit Zero-Shot-Prompting erzielt GPT-4 bereits erhebliche Verbesserungen (ca. 10 % absoluter Zuwachs) gegenüber Radiologiemodellen bei der Klassifikation der zeitlichen Satzähnlichkeit (Genauigkeit) und der natürlichen Sprachinferenz (F_1). Bei Aufgaben, die das Lernen eines datensatzspezifischen Stils oder Schemas erfordern (z. B. Zusammenfassung von Befunden), verbessert sich GPT-4 mit beispielbasiertem Prompting und erreicht das Niveau von überwachten SOTA-Modellen. Unsere umfangreiche Fehleranalyse mit einem zertifizierten Radiologen zeigt, dass GPT-4 über ein ausreichendes Maß an radiologischem Wissen verfügt, mit nur gelegentlichen Fehlern in komplexen Kontexten, die nuanziertes Domänenwissen erfordern. Bei der Zusammenfassung von Befunden werden die Ausgaben von GPT-4 insgesamt als vergleichbar mit bestehenden manuell verfassten Impressionen bewertet.

English

The recent success of general-domain large language models (LLMs) has significantly changed the natural language processing paradigm towards a unified foundation model across domains and applications. In this paper, we focus on assessing the performance of GPT-4, the most capable LLM so far, on the text-based applications for radiology reports, comparing against state-of-the-art (SOTA) radiology-specific models. Exploring various prompting strategies, we evaluated GPT-4 on a diverse range of common radiology tasks and we found GPT-4 either outperforms or is on par with current SOTA radiology models. With zero-shot prompting, GPT-4 already obtains substantial gains (approx 10% absolute improvement) over radiology models in temporal sentence similarity classification (accuracy) and natural language inference (F_1). For tasks that require learning dataset-specific style or schema (e.g. findings summarisation), GPT-4 improves with example-based prompting and matches supervised SOTA. Our extensive error analysis with a board-certified radiologist shows GPT-4 has a sufficient level of radiology knowledge with only occasional errors in complex context that require nuanced domain knowledge. For findings summarisation, GPT-4 outputs are found to be overall comparable with existing manually-written impressions.

Erkundung der Grenzen von GPT-4 in der Radiologie

Exploring the Boundaries of GPT-4 in Radiology

Zusammenfassung

Support