MedMobile : Un modèle de langue de taille mobile avec des capacités cliniques de niveau expert
MedMobile: A mobile-sized language model with expert-level clinical capabilities
October 11, 2024
Auteurs: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann
cs.AI
Résumé
Les modèles de langage (LMs) ont démontré des capacités de raisonnement et de rappel de niveau expert en médecine. Cependant, les coûts computationnels et les préoccupations en matière de confidentialité constituent des obstacles croissants à une mise en œuvre à grande échelle. Nous introduisons une adaptation parcimonieuse de phi-3-mini, MedMobile, un LM de 3,8 milliards de paramètres capable de fonctionner sur un appareil mobile, pour des applications médicales. Nous démontrons que MedMobile obtient un score de 75,7% sur le MedQA (USMLE), dépassant la note de passage pour les médecins (~60%), et approchant les scores des modèles 100 fois plus grands. Nous réalisons ensuite une série d'ablations soigneuses, et démontrons que la chaîne de pensée, l'assemblage et le réglage fin conduisent aux plus grands gains de performance, tandis que, de manière inattendue, la génération augmentée par récupération ne parvient pas à démontrer d'améliorations significatives.
English
Language models (LMs) have demonstrated expert-level reasoning and recall
abilities in medicine. However, computational costs and privacy concerns are
mounting barriers to wide-scale implementation. We introduce a parsimonious
adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of
running on a mobile device, for medical applications. We demonstrate that
MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for
physicians (~60%), and approaching the scores of models 100 times its size. We
subsequently perform a careful set of ablations, and demonstrate that chain of
thought, ensembling, and fine-tuning lead to the greatest performance gains,
while unexpectedly retrieval augmented generation fails to demonstrate
significant improvements