MIRIAD: Aprimorando LLMs com milhões de pares de consulta-resposta médica

Resumo

Os LLMs estão destinados a transformar a área da saúde com suporte avançado à tomada de decisões e assistentes de chat flexíveis. No entanto, os LLMs tendem a gerar conteúdo médico impreciso. Para fundamentar os LLMs em conhecimento médico de alta qualidade, eles têm sido equipados com conhecimento externo via RAG, onde o conhecimento médico não estruturado é dividido em pequenos trechos de texto que podem ser seletivamente recuperados e integrados ao contexto dos LLMs. No entanto, os pipelines de RAG existentes dependem de texto médico bruto e não estruturado, que pode ser ruidoso, não curado e difícil para os LLMs aproveitarem de forma eficaz. Abordagens sistemáticas para organizar o conhecimento médico de modo a melhor apresentá-lo aos LLMs geralmente são escassas. Para enfrentar esses desafios, apresentamos o MIRIAD, um corpus em grande escala e curado de 5.821.948 pares de perguntas e respostas médicas, cada um reformulado e fundamentado em uma passagem da literatura médica revisada por pares, utilizando um pipeline semi-automatizado que combina geração de LLM, filtragem, fundamentação e anotação humana. Diferente de corpora médicos anteriores, que dependem de texto não estruturado, o MIRIAD encapsula conhecimento médico em escala da web em um formato operacionalizado de consulta-resposta, o que permite uma recuperação mais direcionada. Experimentos em benchmarks desafiadores de perguntas e respostas médicas mostram que aumentar os LLMs com o MIRIAD melhora a precisão em até 6,7% em comparação com baselines de RAG não estruturados com o mesmo corpus de origem e com a mesma quantidade de texto recuperado. Além disso, o MIRIAD melhorou a capacidade dos LLMs de detectar alucinações médicas em 22,5 a 37% (aumento no score F1). Introduzimos ainda o MIRIAD-Atlas, um mapa interativo do MIRIAD abrangendo 56 disciplinas médicas, permitindo que usuários clínicos explorem, pesquisem e refinem visualmente o conhecimento médico. O MIRIAD promete desbloquear uma riqueza de aplicações downstream, incluindo recuperadores de informações médicas, aplicações de RAG aprimoradas e interfaces de chat fundamentadas em conhecimento, o que, em última análise, permite aplicações mais confiáveis de LLMs na área da saúde.

English

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.

MIRIAD: Aprimorando LLMs com milhões de pares de consulta-resposta médica

MIRIAD: Augmenting LLMs with millions of medical query-response pairs

Resumo

Support