Explorando os Limites do GPT-4 em Radiologia

Exploring the Boundaries of GPT-4 in Radiology

October 23, 2023

Autores: Qianchu Liu, Stephanie Hyland, Shruthi Bannur, Kenza Bouzid, Daniel C. Castro, Maria Teodora Wetscherek, Robert Tinn, Harshita Sharma, Fernando Pérez-García, Anton Schwaighofer, Pranav Rajpurkar, Sameer Tajdin Khanna, Hoifung Poon, Naoto Usuyama, Anja Thieme, Aditya V. Nori, Matthew P. Lungren, Ozan Oktay, Javier Alvarez-Valle

cs.AI

Resumo

O recente sucesso dos modelos de linguagem de grande escala (LLMs) de domínio geral mudou significativamente o paradigma do processamento de linguagem natural em direção a um modelo de base unificado entre domínios e aplicações. Neste artigo, focamos em avaliar o desempenho do GPT-4, o LLM mais capaz até o momento, em aplicações baseadas em texto para relatórios de radiologia, comparando-o com modelos específicos para radiologia de última geração (SOTA). Explorando várias estratégias de prompt, avaliamos o GPT-4 em uma ampla gama de tarefas comuns de radiologia e descobrimos que o GPT-4 supera ou está em pé de igualdade com os modelos SOTA atuais de radiologia. Com prompts zero-shot, o GPT-4 já obtém ganhos substanciais (aproximadamente 10% de melhoria absoluta) sobre os modelos de radiologia em classificação de similaridade de sentenças temporais (acurácia) e inferência em linguagem natural (F_1). Para tarefas que exigem o aprendizado de estilo ou esquema específico do conjunto de dados (por exemplo, resumo de achados), o GPT-4 melhora com prompts baseados em exemplos e se iguala ao SOTA supervisionado. Nossa extensa análise de erros com um radiologista certificado mostra que o GPT-4 possui um nível suficiente de conhecimento em radiologia, com apenas erros ocasionais em contextos complexos que exigem conhecimento de domínio mais refinado. Para o resumo de achados, as saídas do GPT-4 são consideradas, em geral, comparáveis às impressões escritas manualmente existentes.

English

The recent success of general-domain large language models (LLMs) has significantly changed the natural language processing paradigm towards a unified foundation model across domains and applications. In this paper, we focus on assessing the performance of GPT-4, the most capable LLM so far, on the text-based applications for radiology reports, comparing against state-of-the-art (SOTA) radiology-specific models. Exploring various prompting strategies, we evaluated GPT-4 on a diverse range of common radiology tasks and we found GPT-4 either outperforms or is on par with current SOTA radiology models. With zero-shot prompting, GPT-4 already obtains substantial gains (approx 10% absolute improvement) over radiology models in temporal sentence similarity classification (accuracy) and natural language inference (F_1). For tasks that require learning dataset-specific style or schema (e.g. findings summarisation), GPT-4 improves with example-based prompting and matches supervised SOTA. Our extensive error analysis with a board-certified radiologist shows GPT-4 has a sufficient level of radiology knowledge with only occasional errors in complex context that require nuanced domain knowledge. For findings summarisation, GPT-4 outputs are found to be overall comparable with existing manually-written impressions.