MedMobile: Um modelo de linguagem do tamanho de um dispositivo móvel com capacidades clínicas de nível especialista.

MedMobile: A mobile-sized language model with expert-level clinical capabilities

October 11, 2024

Autores: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann

cs.AI

Resumo

Os modelos de linguagem (LMs) têm demonstrado habilidades de raciocínio e memorização em nível de especialista na medicina. No entanto, os custos computacionais e as preocupações com a privacidade estão se tornando barreiras para a implementação em larga escala. Apresentamos uma adaptação parcimoniosa do phi-3-mini, o MedMobile, um LM com 3,8 bilhões de parâmetros capaz de ser executado em um dispositivo móvel, para aplicações médicas. Demonstramos que o MedMobile alcança 75,7% no MedQA (USMLE), superando a marca de aprovação para médicos (~60%), e se aproximando dos resultados de modelos 100 vezes maiores. Em seguida, realizamos um conjunto cuidadoso de ablações e demonstramos que a cadeia de pensamento, o ensemble e o ajuste fino levam aos maiores ganhos de desempenho, enquanto inesperadamente a geração aumentada por recuperação falha em demonstrar melhorias significativas.

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements