MedMobile: Ein sprachbasiertes Modell in mobiler Größe mit klinischen Fähigkeiten auf Expertenniveau.

MedMobile: A mobile-sized language model with expert-level clinical capabilities

October 11, 2024

Autoren: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann

cs.AI

Zusammenfassung

Sprachmodelle (LMs) haben Expertenlevel-Argumentation und Erinnerungsfähigkeiten in der Medizin gezeigt. Jedoch stellen Rechenkosten und Datenschutzbedenken zunehmende Barrieren für eine breit angelegte Implementierung dar. Wir stellen eine sparsame Anpassung von phi-3-mini vor, MedMobile, ein 3,8 Milliarden Parameter LM, das auf einem mobilen Gerät lauffähig ist, für medizinische Anwendungen. Wir zeigen, dass MedMobile 75,7% bei der MedQA (USMLE) erreicht, den Bestehenswert für Ärzte (~60%) übertrifft und sich den Punktzahlen von Modellen annähert, die 100-mal so groß sind. Anschließend führen wir eine sorgfältige Reihe von Ablationen durch und zeigen, dass Gedankenketten, Ensembling und Feinabstimmung zu den größten Leistungssteigerungen führen, während unerwarteterweise die erweiterte Generierung durch Abrufen keine signifikanten Verbesserungen aufzeigt.

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements