MIRIAD: Расширение возможностей языковых моделей с помощью миллионов пар медицинских запросов и ответов

MIRIAD: Augmenting LLMs with millions of medical query-response pairs

June 6, 2025

Авторы: Qinyue Zheng, Salman Abdullah, Sam Rawal, Cyril Zakka, Sophie Ostmeier, Maximilian Purk, Eduardo Reis, Eric J. Topol, Jure Leskovec, Michael Moor

cs.AI

Аннотация

Крупные языковые модели (LLM) способны трансформировать здравоохранение благодаря продвинутой поддержке принятия решений и гибким чат-ассистентам. Однако LLM склонны генерировать неточную медицинскую информацию. Чтобы закрепить LLM на основе высококачественных медицинских знаний, их оснащают внешними данными через механизм RAG (Retrieval-Augmented Generation), где неструктурированные медицинские знания разбиваются на небольшие текстовые фрагменты, которые могут быть выборочно извлечены и интегрированы в контекст LLM. Тем не менее, существующие RAG-конвейеры опираются на сырые, неструктурированные медицинские тексты, которые могут быть зашумленными, неотобранными и сложными для эффективного использования LLM. Систематические подходы к организации медицинских знаний для их оптимального представления LLM в целом отсутствуют. Для решения этих проблем мы представляем MIRIAD — крупномасштабный, курируемый корпус из 5 821 948 пар вопросов и ответов по медицине, каждый из которых переформулирован и основан на отрывке из рецензируемой медицинской литературы с использованием полуавтоматического конвейера, включающего генерацию LLM, фильтрацию, закрепление и аннотирование человеком. В отличие от предыдущих медицинских корпусов, которые опираются на неструктурированный текст, MIRIAD инкапсулирует веб-масштабные медицинские знания в операционализированном формате «запрос-ответ», что позволяет более целенаправленно извлекать информацию. Эксперименты на сложных медицинских тестах вопросов и ответов показывают, что дополнение LLM с помощью MIRIAD повышает точность до 6,7% по сравнению с базовыми RAG-подходами, использующими тот же исходный корпус и тот же объем извлеченного текста. Более того, MIRIAD улучшил способность LLM обнаруживать медицинские галлюцинации на 22,5–37% (увеличение F1-меры). Мы также представляем MIRIAD-Atlas — интерактивную карту MIRIAD, охватывающую 56 медицинских дисциплин, что позволяет клиническим пользователям визуально исследовать, искать и уточнять медицинские знания. MIRIAD открывает широкие возможности для создания приложений, включая медицинские системы поиска информации, улучшенные RAG-приложения и интерфейсы чатов, основанные на знаниях, что в конечном итоге делает LLM более надежными в здравоохранении.

English

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.