Med42-v2: Eine Suite klinischer LLMs

Med42-v2: A Suite of Clinical LLMs

August 12, 2024

Autoren: Clément Christophe, Praveen K Kanithi, Tathagata Raha, Shadab Khan, Marco AF Pimentel

cs.AI

Zusammenfassung

Med42-v2 stellt eine Reihe klinischer großer Sprachmodelle (LLMs) vor, die entwickelt wurden, um die Einschränkungen generischer Modelle in Gesundheitseinrichtungen zu bewältigen. Diese Modelle basieren auf der Llama3-Architektur und wurden unter Verwendung spezialisierter klinischer Daten feinabgestimmt. Sie durchliefen eine mehrstufige Präferenzabstimmung, um effektiv auf natürliche Anfragen zu reagieren. Während generische Modelle häufig präferenzabgestimmt sind, um klinische Anfragen vorsichtshalber zu vermeiden, wurde Med42-v2 speziell darauf trainiert, diese Einschränkung zu überwinden und somit den Einsatz in klinischen Umgebungen zu ermöglichen. Die Med42-v2-Modelle zeigen eine überlegene Leistung im Vergleich zu den ursprünglichen Llama3-Modellen in den Konfigurationen mit 8B und 70B Parametern sowie GPT-4 bei verschiedenen medizinischen Benchmarks. Diese LLMs wurden entwickelt, um klinische Anfragen zu verstehen, Schlussfolgerungsaufgaben durchzuführen und wertvolle Unterstützung in klinischen Umgebungen zu bieten. Die Modelle sind nun öffentlich verfügbar unter https://huggingface.co/m42-health.

English

Med42-v2 introduces a suite of clinical large language models (LLMs) designed to address the limitations of generic models in healthcare settings. These models are built on Llama3 architecture and fine-tuned using specialized clinical data. They underwent multi-stage preference alignment to effectively respond to natural prompts. While generic models are often preference-aligned to avoid answering clinical queries as a precaution, Med42-v2 is specifically trained to overcome this limitation, enabling its use in clinical settings. Med42-v2 models demonstrate superior performance compared to the original Llama3 models in both 8B and 70B parameter configurations and GPT-4 across various medical benchmarks. These LLMs are developed to understand clinical queries, perform reasoning tasks, and provide valuable assistance in clinical environments. The models are now publicly available at https://huggingface.co/m42-health{https://huggingface.co/m42-health}.