Das Aloe-Familien-Rezept für offene und spezialisierte Gesundheits-LLMs

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Autoren: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Zusammenfassung

Zweck: Mit den Fortschritten bei großen Sprachmodellen (LLMs) für das Gesundheitswesen entsteht die Notwendigkeit für wettbewerbsfähige Open-Source-Modelle, um das öffentliche Interesse zu schützen. Diese Arbeit leistet einen Beitrag zum Bereich der offenen medizinischen LLMs, indem sie Schlüsselphasen der Datenvorverarbeitung und des Trainings optimiert und gleichzeitig zeigt, wie die Modellsicherheit (durch DPO) und Effizienz (durch RAG) verbessert werden können. Die verwendete Evaluierungsmethodik, die vier verschiedene Testtypen umfasst, definiert einen neuen Standard für das Feld. Die resultierenden Modelle, die sich als wettbewerbsfähig mit den besten privaten Alternativen erweisen, werden unter einer freizügigen Lizenz veröffentlicht. Methoden: Aufbauend auf starken Basismodellen wie Llama 3.1 und Qwen 2.5 nutzt Aloe Beta einen benutzerdefinierten Datensatz, um öffentliche Daten mit synthetischen Chain-of-Thought-Beispielen zu erweitern. Die Modelle werden durch Direct Preference Optimization ausgerichtet, wobei der Schwerpunkt auf ethischer und politikorientierter Leistung im Falle von Jailbreaking-Angriffen liegt. Die Bewertung umfasst geschlossene, offene, Sicherheits- und menschliche Beurteilungen, um die Zuverlässigkeit der Ergebnisse zu maximieren. Ergebnisse: Empfehlungen werden für die gesamte Pipeline gegeben, gestützt durch die solide Leistung der Aloe-Familie. Diese Modelle erzielen wettbewerbsfähige Leistungen in Gesundheitsbenchmarks und medizinischen Fachgebieten und werden oft von Fachleuten im Gesundheitswesen bevorzugt. In Bezug auf Voreingenommenheit und Toxizität verbessern die Aloe-Beta-Modelle die Sicherheit erheblich und zeigen Widerstandsfähigkeit gegenüber unbekannten Jailbreaking-Angriffen. Für eine verantwortungsvolle Veröffentlichung ist eine detaillierte Risikobewertung speziell für das Gesundheitswesen den Aloe-Familienmodellen beigefügt. Fazit: Die Aloe-Beta-Modelle und das Rezept, das zu ihnen führt, sind ein bedeutender Beitrag zum Open-Source-Bereich der medizinischen LLMs, da sie Spitzenleistungen bieten und gleichzeitig hohe ethische Anforderungen erfüllen. Diese Arbeit setzt einen neuen Standard für die Entwicklung und Berichterstattung von ausgerichteten LLMs im Gesundheitswesen.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.