MedMobile: 専門レベルの臨床能力を持つモバイルサイズの言語モデル

MedMobile: A mobile-sized language model with expert-level clinical capabilities

October 11, 2024

著者: Krithik Vishwanath, Jaden Stryker, Anton Alaykin, Daniel Alexander Alber, Eric Karl Oermann

cs.AI

要旨

言語モデル（LMs）は医学において専門レベルの推論能力と記憶能力を示しています。ただし、計算コストとプライバシー上の懸念が広範囲な実装の障壁となっています。私たちは、医療アプリケーション向けにモバイルデバイスで動作することが可能な38億パラメータのLMであるphi-3-miniの簡潔な適応であるMedMobileを紹介します。MedMobileは、MedQA（USMLE）で75.7％のスコアを獲得し、医師向けの合格基準（約60％）を上回り、そのサイズの100倍のモデルに近いスコアを達成することを示します。その後、慎重な一連の削除操作を行い、思考の連鎖、アンサンブル、および微調整が最もパフォーマンスを向上させることを示し、意外なことに、検索強化生成は有意な改善を示さないことを示します。

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements