Améliorer les LLMs de Santé grâce au Contexte Récupéré

Boosting Healthcare LLMs Through Retrieved Context

September 23, 2024

Auteurs: Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Dario Garcia-Gasulla

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des capacités remarquables en traitement du langage naturel, et pourtant, leurs inexactitudes factuelles et leurs hallucinations limitent leur application, notamment dans des domaines critiques tels que la santé. Les méthodes de récupération de contexte, en introduisant des informations pertinentes en tant qu'entrée, se sont imposées comme une approche cruciale pour améliorer la fiabilité et la véracité des LLM. Cette étude explore les limites des méthodes de récupération de contexte dans le domaine de la santé, en optimisant leurs composants et en évaluant leurs performances par rapport à des alternatives ouvertes et fermées. Nos résultats révèlent comment les LLM ouverts, lorsqu'ils sont augmentés d'un système de récupération optimisé, peuvent atteindre des performances comparables aux plus grandes solutions privées sur des références établies en santé (réponses à des questions à choix multiples). Reconnaissant le manque de réalisme d'inclure les réponses possibles dans la question (une configuration uniquement présente dans les examens médicaux), et après avoir constaté une forte dégradation des performances des LLM en l'absence de ces options, nous étendons le système de récupération de contexte dans cette direction. En particulier, nous proposons OpenMedPrompt, un pipeline qui améliore la génération de réponses ouvertes plus fiables, rapprochant ainsi cette technologie d'une application pratique.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in natural language processing, and yet, their factual inaccuracies and hallucinations limits their application, particularly in critical domains like healthcare. Context retrieval methods, by introducing relevant information as input, have emerged as a crucial approach for enhancing LLM factuality and reliability. This study explores the boundaries of context retrieval methods within the healthcare domain, optimizing their components and benchmarking their performance against open and closed alternatives. Our findings reveal how open LLMs, when augmented with an optimized retrieval system, can achieve performance comparable to the biggest private solutions on established healthcare benchmarks (multiple-choice question answering). Recognizing the lack of realism of including the possible answers within the question (a setup only found in medical exams), and after assessing a strong LLM performance degradation in the absence of those options, we extend the context retrieval system in that direction. In particular, we propose OpenMedPrompt a pipeline that improves the generation of more reliable open-ended answers, moving this technology closer to practical application.