MedMobile: Мобильная модель языка с экспертными клиническими возможностями.

MedMobile: A mobile-sized language model with expert-level clinical capabilities

October 11, 2024

Авторы: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann

cs.AI

Аннотация

Языковые модели (LMs) продемонстрировали уровень эксперта в рассуждениях и способности к воспоминаниям в медицине. Однако вычислительные затраты и проблемы конфиденциальности становятся препятствиями для широкомасштабной реализации. Мы представляем экономичную адаптацию phi-3-mini, MedMobile, языковой модели с 3,8 миллиарда параметров, способной работать на мобильном устройстве, для медицинских приложений. Мы демонстрируем, что MedMobile набирает 75,7% в MedQA (USMLE), превосходя проходной балл для врачей (~60%) и приближаясь к результатам моделей в 100 раз большего размера. Затем мы проводим тщательный набор абляций и показываем, что цепочка мыслей, ансамблирование и тонкая настройка приводят к наибольшему увеличению производительности, в то время как неожиданно усиление генерации через извлечение не приводит к значительным улучшениям.

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements