La Ricetta della Famiglia Aloe per Modelli Linguistici Sanitari Aperti e Specializzati

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Autori: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Abstract

Scopo: Con i progressi nei Large Language Models (LLM) per il settore sanitario, sorge la necessità di modelli open-source competitivi per proteggere l'interesse pubblico. Questo lavoro contribuisce al campo degli LLM medici open-source ottimizzando le fasi chiave della pre-elaborazione dei dati e dell'addestramento, dimostrando come migliorare la sicurezza del modello (attraverso DPO) e l'efficacia (attraverso RAG). La metodologia di valutazione utilizzata, che include quattro diversi tipi di test, definisce un nuovo standard per il settore. I modelli risultanti, dimostrati competitivi rispetto alle migliori alternative private, vengono rilasciati con una licenza permissiva. Metodi: Basandosi su modelli di base robusti come Llama 3.1 e Qwen 2.5, Aloe Beta utilizza un dataset personalizzato per arricchire i dati pubblici con esempi sintetici di Chain of Thought. I modelli vengono allineati tramite Direct Preference Optimization, enfatizzando prestazioni etiche e allineate alle politiche in presenza di attacchi di jailbreaking. La valutazione include test a risposta chiusa, a risposta aperta, di sicurezza e valutazioni umane, per massimizzare l'affidabilità dei risultati. Risultati: Vengono fornite raccomandazioni lungo l'intera pipeline, supportate dalle solide prestazioni della famiglia Aloe. Questi modelli offrono prestazioni competitive su benchmark sanitari e campi medici, e sono spesso preferiti dai professionisti del settore. Su bias e tossicità, i modelli Aloe Beta migliorano significativamente la sicurezza, mostrando resilienza agli attacchi di jailbreaking non visti. Per un rilascio responsabile, è allegata una valutazione del rischio specifica per il settore sanitario ai modelli della famiglia Aloe. Conclusione: I modelli Aloe Beta, e la ricetta che li ha prodotti, rappresentano un contributo significativo al campo degli LLM medici open-source, offrendo prestazioni all'avanguardia mantenendo alti standard etici. Questo lavoro stabilisce un nuovo standard per lo sviluppo e la reportistica di LLM allineati nel settore sanitario.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.