Рецепт семейства Aloe для открытых и специализированных языковых моделей в здравоохранении

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

Авторы: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

Аннотация

Цель: С развитием крупных языковых моделей (LLM) для здравоохранения возникает необходимость в конкурентоспособных моделях с открытым исходным кодом для защиты общественных интересов. Данная работа вносит вклад в область открытых медицинских LLM, оптимизируя ключевые этапы предобработки данных и обучения, а также демонстрируя, как повысить безопасность модели (с помощью DPO) и её эффективность (с помощью RAG). Используемая методология оценки, включающая четыре различных типа тестов, задаёт новый стандарт для этой области. Полученные модели, показавшие конкурентоспособность с лучшими частными аналогами, выпускаются под разрешительной лицензией. Методы: На основе мощных базовых моделей, таких как Llama 3.1 и Qwen 2.5, Aloe Beta использует пользовательский набор данных, дополняя общедоступные данные синтетическими примерами цепочки рассуждений (Chain of Thought). Модели проходят этап согласования с помощью оптимизации прямых предпочтений (Direct Preference Optimization), уделяя особое внимание этической и политически согласованной производительности в условиях атак на взлом (jailbreaking). Оценка включает закрытые, открытые, тесты на безопасность и экспертные оценки для максимизации надёжности результатов. Результаты: На основе стабильной производительности семейства моделей Aloe даются рекомендации по всему процессу разработки. Эти модели демонстрируют конкурентоспособные результаты на тестах, связанных с здравоохранением и медицинскими областями, и часто предпочитаются медицинскими специалистами. В вопросах предвзятости и токсичности модели Aloe Beta значительно повышают безопасность, показывая устойчивость к неизвестным атакам на взлом. Для ответственного выпуска к моделям семейства Aloe прилагается детальная оценка рисков, специфичных для здравоохранения. Заключение: Модели Aloe Beta и методология их создания представляют собой значительный вклад в область открытых медицинских LLM, предлагая передовую производительность при соблюдении высоких этических требований. Данная работа задаёт новый стандарт для разработки и отчётности по согласованным LLM в здравоохранении.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.