アロエファミリーのオープンで専門的な医療LLMのレシピ

The Aloe Family Recipe for Open and Specialized Healthcare LLMs

May 7, 2025

著者: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés

cs.AI

要旨

目的：医療分野における大規模言語モデル（LLM）の進展に伴い、公共の利益を守るための競争力のあるオープンソースモデルの必要性が高まっている。本研究は、データの前処理とトレーニングの主要な段階を最適化し、モデルの安全性（DPOを通じて）と有効性（RAGを通じて）を向上させる方法を示すことで、オープンな医療用LLMの分野に貢献する。4種類のテストを含む評価方法論は、この分野における新たな標準を定義する。その結果得られたモデルは、最高のプライベートな代替モデルと競争力があることが示され、寛容なライセンスで公開される。 方法：Llama 3.1やQwen 2.5などの強力なベースモデルを基盤として、Aloe Betaは合成されたChain of Thoughtの例を活用したカスタムデータセットを使用して公開データを強化する。モデルはDirect Preference Optimizationによるアライメントを経て、ジェイルブレイク攻撃の存在下でも倫理的かつポリシーに沿った性能を重視する。評価には、クローズドエンド、オープンエンド、安全性、および人間による評価が含まれ、結果の信頼性を最大化する。 結果：Aloe Familyの堅実な性能に裏打ちされた、パイプライン全体にわたる推奨事項が提示される。これらのモデルは、医療ベンチマークや医療分野において競争力のある性能を発揮し、医療専門家からも好まれることが多い。バイアスや毒性に関して、Aloe Betaモデルは安全性を大幅に向上させ、未見のジェイルブレイク攻撃に対する耐性を示す。責任あるリリースのために、医療に特化した詳細なリスク評価がAloe Familyモデルに添付される。 結論：Aloe Betaモデル、およびそれらを導くレシピは、オープンソースの医療用LLM分野における重要な貢献であり、最高水準の性能を維持しながら高い倫理的要件を満たす。本研究は、医療分野におけるアライメントされたLLMの開発と報告の新たな標準を確立する。

English

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.