MIRIAD: Potenziamento dei LLM con milioni di coppie domanda-risposta mediche

Abstract

I LLM sono destinati a trasformare l'assistenza sanitaria con supporti decisionali avanzati e assistenti chat flessibili. Tuttavia, i LLM tendono a generare contenuti medici inaccurati. Per ancorare i LLM a conoscenze mediche di alta qualità, sono stati dotati di conoscenze esterne tramite RAG, dove il sapere medico non strutturato viene suddiviso in piccoli frammenti di testo che possono essere selettivamente recuperati e integrati nel contesto dei LLM. Tuttavia, le pipeline RAG esistenti si basano su testi medici grezzi e non strutturati, che possono essere rumorosi, non curati e difficili da sfruttare efficacemente per i LLM. Manca generalmente un approccio sistematico per organizzare le conoscenze mediche in modo da renderle più accessibili ai LLM. Per affrontare queste sfide, introduciamo MIRIAD, un corpus su larga scala e curato di 5.821.948 coppie di domande e risposte mediche, ciascuna riformulata e basata su un passaggio tratto dalla letteratura medica peer-reviewed utilizzando una pipeline semi-automatizzata che combina generazione LLM, filtraggio, ancoraggio e annotazione umana. A differenza dei precedenti corpora medici, che si basano su testo non strutturato, MIRIAD incapsula conoscenze mediche su scala web in un formato operativo di query-risposta, che consente un recupero più mirato. Esperimenti su benchmark impegnativi di QA medica mostrano che l'arricchimento dei LLM con MIRIAD migliora l'accuratezza fino al 6,7% rispetto ai baseline RAG non strutturati con lo stesso corpus sorgente e con la stessa quantità di testo recuperato. Inoltre, MIRIAD ha migliorato la capacità dei LLM di rilevare allucinazioni mediche del 22,5-37% (aumento del punteggio F1). Introduciamo inoltre MIRIAD-Atlas, una mappa interattiva di MIRIAD che copre 56 discipline mediche, consentendo agli utenti clinici di esplorare, cercare e affinare visivamente le conoscenze mediche. MIRIAD promette di sbloccare una ricchezza di applicazioni downstream, inclusi sistemi di recupero di informazioni mediche, applicazioni RAG potenziate e interfacce chat basate sulla conoscenza, che alla fine consentono applicazioni LLM più affidabili nel settore sanitario.

English

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.

MIRIAD: Potenziamento dei LLM con milioni di coppie domanda-risposta mediche

MIRIAD: Augmenting LLMs with millions of medical query-response pairs

Abstract

Support