Impulsionando LLMs de Saúde Através do Contexto Recuperado

Boosting Healthcare LLMs Through Retrieved Context

September 23, 2024

Autores: Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Dario Garcia-Gasulla

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado capacidades notáveis no processamento de linguagem natural e, no entanto, suas imprecisões factuais e alucinações limitam sua aplicação, especialmente em domínios críticos como a saúde. Os métodos de recuperação de contexto, ao introduzir informações relevantes como entrada, surgiram como uma abordagem crucial para aprimorar a factualidade e confiabilidade dos LLMs. Este estudo explora os limites dos métodos de recuperação de contexto no domínio da saúde, otimizando seus componentes e avaliando seu desempenho em comparação com alternativas abertas e fechadas. Nossas descobertas revelam como os LLMs abertos, quando aprimorados com um sistema de recuperação otimizado, podem alcançar desempenho comparável às maiores soluções privadas em benchmarks de saúde estabelecidos (resposta a perguntas de múltipla escolha). Reconhecendo a falta de realismo de incluir as possíveis respostas dentro da pergunta (uma configuração encontrada apenas em exames médicos) e após avaliar uma forte degradação de desempenho de LLM na ausência dessas opções, estendemos o sistema de recuperação de contexto nessa direção. Em particular, propomos o OpenMedPrompt, um pipeline que aprimora a geração de respostas abertas mais confiáveis, aproximando essa tecnologia da aplicação prática.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in natural language processing, and yet, their factual inaccuracies and hallucinations limits their application, particularly in critical domains like healthcare. Context retrieval methods, by introducing relevant information as input, have emerged as a crucial approach for enhancing LLM factuality and reliability. This study explores the boundaries of context retrieval methods within the healthcare domain, optimizing their components and benchmarking their performance against open and closed alternatives. Our findings reveal how open LLMs, when augmented with an optimized retrieval system, can achieve performance comparable to the biggest private solutions on established healthcare benchmarks (multiple-choice question answering). Recognizing the lack of realism of including the possible answers within the question (a setup only found in medical exams), and after assessing a strong LLM performance degradation in the absence of those options, we extend the context retrieval system in that direction. In particular, we propose OpenMedPrompt a pipeline that improves the generation of more reliable open-ended answers, moving this technology closer to practical application.