Med42-v2 : Une suite de modèles de langage cliniques

Med42-v2: A Suite of Clinical LLMs

August 12, 2024

Auteurs: Clément Christophe, Praveen K Kanithi, Tathagata Raha, Shadab Khan, Marco AF Pimentel

cs.AI

Résumé

Med42-v2 présente une suite de grands modèles de langage (LLM) cliniques conçus pour pallier les limites des modèles génériques dans les contextes de soins de santé. Ces modèles sont construits sur l'architecture Llama3 et affinés à l'aide de données cliniques spécialisées. Ils ont subi un alignement des préférences en plusieurs étapes pour répondre efficacement aux requêtes naturelles. Alors que les modèles génériques sont souvent alignés pour éviter de répondre aux questions cliniques par précaution, Med42-v2 est spécifiquement entraîné pour surmonter cette limitation, permettant son utilisation dans des environnements cliniques. Les modèles Med42-v2 démontrent une performance supérieure par rapport aux modèles Llama3 originaux dans les configurations de 8B et 70B paramètres, ainsi qu'à GPT-4, sur divers benchmarks médicaux. Ces LLM sont développés pour comprendre les requêtes cliniques, effectuer des tâches de raisonnement et fournir une assistance précieuse dans les environnements cliniques. Les modèles sont désormais disponibles publiquement à l'adresse suivante : https://huggingface.co/m42-health{https://huggingface.co/m42-health}.

English

Med42-v2 introduces a suite of clinical large language models (LLMs) designed to address the limitations of generic models in healthcare settings. These models are built on Llama3 architecture and fine-tuned using specialized clinical data. They underwent multi-stage preference alignment to effectively respond to natural prompts. While generic models are often preference-aligned to avoid answering clinical queries as a precaution, Med42-v2 is specifically trained to overcome this limitation, enabling its use in clinical settings. Med42-v2 models demonstrate superior performance compared to the original Llama3 models in both 8B and 70B parameter configurations and GPT-4 across various medical benchmarks. These LLMs are developed to understand clinical queries, perform reasoning tasks, and provide valuable assistance in clinical environments. The models are now publicly available at https://huggingface.co/m42-health{https://huggingface.co/m42-health}.