A Receita da Família Aloe para LLMs de Saúde Aberta e Especializada

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Autores: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Resumo

Propósito: Com os avanços nos Modelos de Linguagem de Grande Escala (LLMs) para a área da saúde, surge a necessidade de modelos open-source competitivos para proteger o interesse público. Este trabalho contribui para o campo dos LLMs médicos open-source ao otimizar etapas-chave de pré-processamento de dados e treinamento, ao mesmo tempo em que demonstra como melhorar a segurança do modelo (através do DPO) e a eficácia (através do RAG). A metodologia de avaliação utilizada, que inclui quatro tipos diferentes de testes, define um novo padrão para o campo. Os modelos resultantes, que se mostraram competitivos com as melhores alternativas privadas, são disponibilizados com uma licença permissiva. Métodos: Com base em modelos base robustos como Llama 3.1 e Qwen 2.5, o Aloe Beta utiliza um conjunto de dados personalizado para aprimorar dados públicos com exemplos sintéticos de Chain of Thought. Os modelos passam por alinhamento com Otimização de Preferência Direta (DPO), enfatizando desempenho ético e alinhado a políticas na presença de ataques de jailbreaking. A avaliação inclui testes de resposta fechada, aberta, de segurança e avaliações humanas, para maximizar a confiabilidade dos resultados. Resultados: Recomendações são feitas em todo o pipeline, respaldadas pelo sólido desempenho da Família Aloe. Esses modelos apresentam desempenho competitivo em benchmarks de saúde e áreas médicas, sendo frequentemente preferidos por profissionais da área. Em relação a viés e toxicidade, os modelos Aloe Beta melhoram significativamente a segurança, mostrando resiliência a ataques de jailbreaking não vistos anteriormente. Para uma liberação responsável, uma avaliação de risco detalhada específica para a área da saúde é anexada aos modelos da Família Aloe. Conclusão: Os modelos Aloe Beta, e a receita que os gera, representam uma contribuição significativa para o campo dos LLMs médicos open-source, oferecendo desempenho de ponta enquanto mantêm altos requisitos éticos. Este trabalho estabelece um novo padrão para o desenvolvimento e relato de LLMs alinhados na área da saúde.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.