Zebra-Llama: Контекстно-ориентированная большая языковая модель для демократизации знаний о редких заболеваниях

Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge

November 4, 2024

Авторы: Karthik Soman, Andrew Langdon, Catalina Villouta, Chinmay Agrawal, Lashaw Salta, Braian Peetoom, Gianmarco Bellucci, Orion J Buske

cs.AI

Аннотация

Редкие заболевания представляют уникальные вызовы в здравоохранении, часто сталкивающиеся с задержкой диагностики и фрагментированными информационными ландшафтами. Дефицит надежных знаний по этим состояниям представляет собой особый вызов для больших языковых моделей (LLM) в поддержке клинического управления и предоставлении точной информации о пациентах, подчеркивая необходимость сосредоточенного обучения на этих "зебра" случаях. Мы представляем Zebra-Llama, специализированную контекстно-ориентированную языковую модель с высокой точностью возможности Retrieval Augmented Generation (RAG), сосредоточенную на синдроме Элерса-Данлоса (EDS) как нашем кейс-исследовании. EDS, затрагивающий 1 из 5 000 человек, иллюстрирует сложности редких заболеваний своими разнообразными симптомами, множеством подтипов и развивающимися диагностическими критериями. Путем реализации новой методологии тонкой настройки, ориентированной на контекст и обученной на вопросах, происходящих из медицинской литературы, опыта пациентов и клинических ресурсов, вместе с экспертно отобранными ответами, Zebra-Llama демонстрирует беспрецедентные возможности в обработке запросов, связанных с EDS. На тестовом наборе реальных вопросов, собранных от пациентов с EDS и клиницистов, медицинские эксперты оценили ответы, сгенерированные обоими моделями, показав значительные улучшения Zebra-Llama по сравнению с базовой моделью (Llama 3.1-8B-Instruct) в полноте (77,5% против 70,1%), точности (83,0% против 78,8%), ясности (74,7% против 72,0%) и надежности цитирования (70,6% против 52,3%). Выпущенный в качестве ресурса с открытым исходным кодом, Zebra-Llama не только предоставляет более доступную и надежную информацию об EDS, но и устанавливает рамки для разработки специализированных ИИ-решений для других редких состояний. Эта работа представляет собой важный шаг к демократизации экспертных знаний в управлении редкими заболеваниями, потенциально изменяя способ, которым провайдеры здравоохранения и пациенты ориентируются в сложном ландшафте редких заболеваний.

English

Rare diseases present unique challenges in healthcare, often suffering from delayed diagnosis and fragmented information landscapes. The scarcity of reliable knowledge in these conditions poses a distinct challenge for Large Language Models (LLMs) in supporting clinical management and delivering precise patient information underscoring the need for focused training on these 'zebra' cases. We present Zebra-Llama, a specialized context-aware language model with high precision Retrieval Augmented Generation (RAG) capability, focusing on Ehlers-Danlos Syndrome (EDS) as our case study. EDS, affecting 1 in 5,000 individuals, exemplifies the complexities of rare diseases with its diverse symptoms, multiple subtypes, and evolving diagnostic criteria. By implementing a novel context-aware fine-tuning methodology trained on questions derived from medical literature, patient experiences, and clinical resources, along with expertly curated responses, Zebra-Llama demonstrates unprecedented capabilities in handling EDS-related queries. On a test set of real-world questions collected from EDS patients and clinicians, medical experts evaluated the responses generated by both models, revealing Zebra-Llama's substantial improvements over base model (Llama 3.1-8B-Instruct) in thoroughness (77.5% vs. 70.1%), accuracy (83.0% vs. 78.8%), clarity (74.7% vs. 72.0%) and citation reliability (70.6% vs. 52.3%). Released as an open-source resource, Zebra-Llama not only provides more accessible and reliable EDS information but also establishes a framework for developing specialized AI solutions for other rare conditions. This work represents a crucial step towards democratizing expert-level knowledge in rare disease management, potentially transforming how healthcare providers and patients navigate the complex landscape of rare diseases.