MedMobile: Un modello linguistico delle dimensioni di un dispositivo mobile con capacità cliniche di livello esperto

MedMobile: A mobile-sized language model with expert-level clinical capabilities

October 11, 2024

Autori: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann

cs.AI

Abstract

I modelli linguistici (LM) hanno dimostrato capacità di ragionamento e recupero a livello esperto in medicina. Tuttavia, i costi computazionali e le preoccupazioni sulla privacy stanno diventando ostacoli sempre più grandi per un'implementazione su vasta scala. Presentiamo un'adattamento parsimonioso di phi-3-mini, MedMobile, un LM con 3,8 miliardi di parametri in grado di funzionare su un dispositivo mobile, per applicazioni mediche. Dimostriamo che MedMobile ottiene un punteggio del 75,7% sul MedQA (USMLE), superando il punteggio di superamento per i medici (~60%), e avvicinandosi ai punteggi dei modelli 100 volte più grandi. Successivamente eseguiamo un attento insieme di ablation, e dimostriamo che la concatenazione di pensieri, l'ensemble e il fine-tuning portano ai maggiori miglioramenti delle prestazioni, mentre inaspettatamente la generazione aumentata dal recupero non riesce a dimostrare miglioramenti significativi.

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements