La Receta de la Familia Aloe para Modelos de Lenguaje de Aprendizaje Profundo en Atención Médica Abierta y Especializada

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Autores: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Resumen

Propósito: Con los avances en los Modelos de Lenguaje de Gran Escala (LLMs) para el sector de la salud, surge la necesidad de modelos de código abierto competitivos para proteger el interés público. Este trabajo contribuye al campo de los LLMs médicos de código abierto optimizando etapas clave del preprocesamiento de datos y el entrenamiento, mientras demuestra cómo mejorar la seguridad del modelo (a través de DPO) y su eficacia (a través de RAG). La metodología de evaluación utilizada, que incluye cuatro tipos diferentes de pruebas, define un nuevo estándar para el campo. Los modelos resultantes, que demuestran ser competitivos con las mejores alternativas privadas, se publican bajo una licencia permisiva. Métodos: Basándose en modelos base sólidos como Llama 3.1 y Qwen 2.5, Aloe Beta utiliza un conjunto de datos personalizado para mejorar los datos públicos con ejemplos sintéticos de Cadena de Pensamiento. Los modelos se alinean mediante la Optimización de Preferencias Directas, enfatizando un rendimiento ético y alineado con políticas en presencia de ataques de jailbreaking. La evaluación incluye pruebas de respuesta cerrada, abierta, de seguridad y evaluaciones humanas, para maximizar la confiabilidad de los resultados. Resultados: Se realizan recomendaciones en toda la cadena de desarrollo, respaldadas por el sólido rendimiento de la Familia Aloe. Estos modelos ofrecen un rendimiento competitivo en los puntos de referencia de atención médica y campos médicos, y a menudo son preferidos por profesionales de la salud. En cuanto a sesgo y toxicidad, los modelos Aloe Beta mejoran significativamente la seguridad, mostrando resistencia a ataques de jailbreaking no vistos. Para una liberación responsable, se adjunta una evaluación de riesgos detallada específica para el sector de la salud a los modelos de la Familia Aloe. Conclusión: Los modelos Aloe Beta, y la receta que los produce, representan una contribución significativa al campo de los LLMs médicos de código abierto, ofreciendo un rendimiento de primer nivel mientras mantienen altos requisitos éticos. Este trabajo establece un nuevo estándar para el desarrollo y la presentación de LLMs alineados en el ámbito de la salud.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.