Het Aloe Family Recept voor Open en Gespecialiseerde Gezondheidszorg-LLM's

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Auteurs: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Samenvatting

Doel: Met de vooruitgang in Grote Taalmodellen (LLM's) voor de gezondheidszorg ontstaat de behoefte aan concurrerende open-source modellen om het publieke belang te beschermen. Dit werk draagt bij aan het veld van open medische LLM's door cruciale fasen van gegevensvoorbewerking en training te optimaliseren, terwijl wordt getoond hoe de veiligheid van modellen kan worden verbeterd (via DPO) en de effectiviteit (via RAG). De gebruikte evaluatiemethodologie, die vier verschillende soorten tests omvat, definieert een nieuwe standaard voor het veld. De resulterende modellen, die concurrerend blijken te zijn met de beste private alternatieven, worden vrijgegeven onder een permissieve licentie. Methoden: Voortbouwend op sterke basismodellen zoals Llama 3.1 en Qwen 2.5, gebruikt Aloe Beta een aangepaste dataset om publieke gegevens te verrijken met synthetische Chain of Thought-voorbeelden. De modellen worden afgestemd met Direct Preference Optimization, waarbij de nadruk ligt op ethische en beleidsafgestemde prestaties in het geval van jailbreaking-aanvallen. De evaluatie omvat gesloten, open, veiligheids- en menselijke beoordelingen om de betrouwbaarheid van de resultaten te maximaliseren. Resultaten: Aanbevelingen worden gedaan voor de gehele pijplijn, ondersteund door de solide prestaties van de Aloe Family. Deze modellen leveren concurrerende prestaties op gezondheidszorgbenchmarks en medische gebieden, en worden vaak geprefereerd door zorgprofessionals. Op het gebied van bias en toxiciteit verbeteren de Aloe Beta-modellen de veiligheid aanzienlijk en tonen ze veerkracht tegen onbekende jailbreaking-aanvallen. Voor een verantwoorde release is een gedetailleerde risicobeoordeling specifiek voor de gezondheidszorg toegevoegd aan de Aloe Family-modellen. Conclusie: De Aloe Beta-modellen, en het recept dat ertoe leidt, vormen een belangrijke bijdrage aan het open-source medische LLM-veld, waarbij topkwaliteit prestaties worden geboden terwijl hoge ethische eisen worden gehandhaafd. Dit werk stelt een nieuwe standaard voor het ontwikkelen en rapporteren van afgestemde LLM's in de gezondheidszorg.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.