MIRIAD: Het versterken van LLM's met miljoenen medische vraag-antwoordparen

MIRIAD: Augmenting LLMs with millions of medical query-response pairs

June 6, 2025

Auteurs: Qinyue Zheng, Salman Abdullah, Sam Rawal, Cyril Zakka, Sophie Ostmeier, Maximilian Purk, Eduardo Reis, Eric J. Topol, Jure Leskovec, Michael Moor

cs.AI

Samenvatting

LLM's staan op het punt de gezondheidszorg te transformeren met geavanceerde beslissingsondersteuning en flexibele chatassistenten. Echter, LLM's hebben de neiging om onnauwkeurige medische inhoud te genereren. Om LLM's te verankeren in hoogwaardige medische kennis, zijn ze uitgerust met externe kennis via RAG, waarbij ongestructureerde medische kennis wordt opgesplitst in kleine tekstfragmenten die selectief kunnen worden opgehaald en geïntegreerd in de context van de LLM's. Toch vertrouwen bestaande RAG-pijplijnen op ruwe, ongestructureerde medische tekst, die lawaaierig, ongecurateerd en moeilijk te benutten kan zijn voor LLM's. Systematische benaderingen om medische kennis zo te organiseren dat deze optimaal aan LLM's wordt gepresenteerd, ontbreken over het algemeen. Om deze uitdagingen aan te pakken, introduceren we MIRIAD, een grootschalige, gecurateerde corpus van 5.821.948 medische vraag-antwoordparen, elk herformuleerd en verankerd in een passage uit peer-reviewed medische literatuur met behulp van een semi-geautomatiseerde pijplijn die LLM-generatie, filtering, verankering en menselijke annotatie combineert. In tegenstelling tot eerdere medische corpora, die vertrouwen op ongestructureerde tekst, vat MIRIAD web-schaal medische kennis samen in een operationeel vraag-antwoordformaat, wat gerichtere retrievel mogelijk maakt. Experimenten op uitdagende medische vraag-antwoordbenchmarks tonen aan dat het verrijken van LLM's met MIRIAD de nauwkeurigheid met tot 6,7% verbetert in vergelijking met ongestructureerde RAG-baselines met dezelfde broncorpus en dezelfde hoeveelheid opgehaalde tekst. Bovendien verbeterde MIRIAD het vermogen van LLM's om medische hallucinaties te detecteren met 22,5 tot 37% (toename in F1-score). We introduceren verder MIRIAD-Atlas, een interactieve kaart van MIRIAD die 56 medische disciplines omvat, waardoor klinische gebruikers visueel medische kennis kunnen verkennen, zoeken en verfijnen. MIRIAD belooft een schat aan downstream-toepassingen te ontsluiten, waaronder medische informatie-retrievers, verbeterde RAG-toepassingen en kennis-gebaseerde chatinterfaces, wat uiteindelijk betrouwbaardere LLM-toepassingen in de gezondheidszorg mogelijk maakt.

English

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.