La Recette de la Famille Aloe pour des LLM de Santé Ouverts et Spécialisés

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Auteurs: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Résumé

Objectif : Avec les avancées des modèles de langage à grande échelle (LLMs) dans le domaine de la santé, la nécessité de modèles open-source compétitifs se fait sentir pour protéger l'intérêt public. Ce travail contribue au domaine des LLMs médicaux open-source en optimisant les étapes clés du prétraitement des données et de l'entraînement, tout en montrant comment améliorer la sécurité des modèles (via DPO) et leur efficacité (via RAG). La méthodologie d'évaluation utilisée, qui inclut quatre types de tests différents, définit une nouvelle norme pour le domaine. Les modèles résultants, démontrés comme compétitifs face aux meilleures alternatives privées, sont publiés sous une licence permissive. Méthodes : S'appuyant sur des modèles de base solides comme Llama 3.1 et Qwen 2.5, Aloe Beta utilise un jeu de données personnalisé pour enrichir les données publiques avec des exemples synthétiques de Chaîne de Pensée. Les modèles sont alignés grâce à l'Optimisation Directe des Préférences, en mettant l'accent sur les performances éthiques et alignées avec les politiques face aux attaques de jailbreaking. L'évaluation inclut des tests à choix fermé, à réponse ouverte, de sécurité et des évaluations humaines, afin de maximiser la fiabilité des résultats. Résultats : Des recommandations sont formulées pour l'ensemble du pipeline, soutenues par les performances solides de la famille Aloe. Ces modèles offrent des performances compétitives sur les benchmarks de santé et dans divers domaines médicaux, et sont souvent préférés par les professionnels de santé. En matière de biais et de toxicité, les modèles Aloe Beta améliorent significativement la sécurité, démontrant une résilience face aux attaques de jailbreaking inédites. Pour une publication responsable, une évaluation des risques détaillée spécifique à la santé est jointe aux modèles de la famille Aloe. Conclusion : Les modèles Aloe Beta, ainsi que la recette qui les a produits, représentent une contribution significative au domaine des LLMs médicaux open-source, offrant des performances de pointe tout en respectant des exigences éthiques élevées. Ce travail établit une nouvelle norme pour le développement et la communication de LLMs alignés dans le domaine de la santé.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.