알로에 가족의 개방적이고 전문화된 헬스케어 LLM을 위한 레시피

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

저자: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

초록

목적: 의료 분야에서 대형 언어 모델(LLMs)의 발전과 함께, 공공의 이익을 보호하기 위해 경쟁력 있는 오픈소스 모델의 필요성이 대두되고 있다. 본 연구는 데이터 전처리와 훈련의 주요 단계를 최적화하고, 모델의 안전성(DPO를 통해)과 효율성(RAG를 통해)을 개선하는 방법을 보여줌으로써 오픈 의료 LLMs 분야에 기여한다. 네 가지 유형의 테스트를 포함한 평가 방법론은 이 분야의 새로운 표준을 정의한다. 최고의 사설 대안 모델들과 경쟁력 있는 성능을 보여준 결과 모델들은 허가적 라이선스로 공개된다. 방법: Llama 3.1 및 Qwen 2.5와 같은 강력한 기본 모델을 기반으로, Aloe Beta는 공공 데이터를 합성 Chain of Thought 예제로 강화한 맞춤형 데이터셋을 사용한다. 모델들은 Direct Preference Optimization을 통해 정렬되며, 특히 탈옥 공격 상황에서 윤리적이고 정책에 부합하는 성능을 강조한다. 평가는 폐쇄형, 개방형, 안전성 및 인간 평가를 포함하여 결과의 신뢰성을 극대화한다. 결과: Aloe Family의 견고한 성능을 바탕으로 전체 파이프라인에 걸쳐 권장 사항이 제시된다. 이 모델들은 의료 벤치마크 및 의학 분야에서 경쟁력 있는 성능을 제공하며, 종종 의료 전문가들에게 선호된다. 편향성과 유해성 측면에서 Aloe Beta 모델들은 안전성을 크게 개선하며, 보이지 않는 탈옥 공격에 대한 탄력성을 보여준다. 책임 있는 공개를 위해 Aloe Family 모델에는 의료 분야에 특화된 상세한 위험 평가가 첨부된다. 결론: Aloe Beta 모델들과 이를 이끌어낸 방법론은 오픈소스 의료 LLMs 분야에 중요한 기여를 하며, 최고 수준의 성능을 유지하면서도 높은 윤리적 요구 사항을 충족한다. 본 연구는 의료 분야에서 정렬된 LLMs를 개발하고 보고하는 새로운 표준을 제시한다.

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.