Diagnosi Differenziale delle Malattie Rare con Modelli Linguistici su Larga Scala: Dall'Actinomicosi Addominale alla Malattia di Wilson

Rare Disease Differential Diagnosis with Large Language Models at Scale: From Abdominal Actinomycosis to Wilson's Disease

February 20, 2025

Autori: Elliot Schumacher, Dhruv Naik, Anitha Kannan

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLMs) hanno dimostrato capacità impressionanti nella diagnosi delle malattie. Tuttavia, la loro efficacia nell'identificare malattie più rare, che sono intrinsecamente più difficili da diagnosticare, rimane una questione aperta. Le prestazioni nelle malattie rare sono cruciali con l'aumento dell'uso degli LLMs in ambito sanitario. Questo è particolarmente vero se un medico di base deve formulare una prognosi più rara basandosi solo su una conversazione con il paziente, in modo da poter intraprendere il passo successivo appropriato. A tal fine, diversi sistemi di supporto alle decisioni cliniche sono progettati per aiutare i professionisti nell'identificazione delle malattie rare. Tuttavia, la loro utilità è limitata dalla mancanza di conoscenza dei disturbi comuni e dalla difficoltà d'uso. In questo articolo, proponiamo RareScale per combinare la conoscenza degli LLMs con i sistemi esperti. Utilizziamo congiuntamente un sistema esperto e un LLM per simulare conversazioni su malattie rare. Questi dati vengono utilizzati per addestrare un modello predittivo di candidati per malattie rare. I candidati generati da questo modello più piccolo vengono poi utilizzati come input aggiuntivi per un LLM black-box per formulare la diagnosi differenziale finale. In questo modo, RareScale permette di bilanciare diagnosi rare e comuni. Presentiamo i risultati su oltre 575 malattie rare, partendo dall'Actinomicosi addominale e terminando con la Malattia di Wilson. Il nostro approccio migliora significativamente le prestazioni di base degli LLMs black-box di oltre il 17% in termini di accuratezza Top-5. Troviamo inoltre che le prestazioni nella generazione dei candidati sono elevate (ad esempio, l'88,8% sulle chat generate da gpt-4o).

English

Large language models (LLMs) have demonstrated impressive capabilities in disease diagnosis. However, their effectiveness in identifying rarer diseases, which are inherently more challenging to diagnose, remains an open question. Rare disease performance is critical with the increasing use of LLMs in healthcare settings. This is especially true if a primary care physician needs to make a rarer prognosis from only a patient conversation so that they can take the appropriate next step. To that end, several clinical decision support systems are designed to support providers in rare disease identification. Yet their utility is limited due to their lack of knowledge of common disorders and difficulty of use. In this paper, we propose RareScale to combine the knowledge LLMs with expert systems. We use jointly use an expert system and LLM to simulate rare disease chats. This data is used to train a rare disease candidate predictor model. Candidates from this smaller model are then used as additional inputs to black-box LLM to make the final differential diagnosis. Thus, RareScale allows for a balance between rare and common diagnoses. We present results on over 575 rare diseases, beginning with Abdominal Actinomycosis and ending with Wilson's Disease. Our approach significantly improves the baseline performance of black-box LLMs by over 17% in Top-5 accuracy. We also find that our candidate generation performance is high (e.g. 88.8% on gpt-4o generated chats).