SearchRAG: I motori di ricerca possono essere utili per il rispondere a domande mediche basate su LLM?

SearchRAG: Can Search Engines Be Helpful for LLM-based Medical Question Answering?

February 18, 2025

Autori: Yucheng Shi, Tianze Yang, Canyu Chen, Quanzheng Li, Tianming Liu, Xiang Li, Ninghao Liu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità notevoli in domini generali, ma spesso incontrano difficoltà con compiti che richiedono conoscenze specializzate. Le tecniche convenzionali di Generazione Aumentata dal Recupero (RAG) recuperano tipicamente informazioni esterne da basi di conoscenza statiche, che possono essere obsolete o incomplete, tralasciando dettagli clinici di livello fine essenziali per risposte accurate a domande mediche. In questo lavoro, proponiamo SearchRAG, un nuovo framework che supera queste limitazioni sfruttando motori di ricerca in tempo reale. Il nostro metodo utilizza la generazione sintetica di query per convertire complesse domande mediche in query adatte ai motori di ricerca e impiega una selezione della conoscenza basata sull'incertezza per filtrare e incorporare le informazioni mediche più rilevanti e informative nell'input dell'LLM. I risultati sperimentali dimostrano che il nostro metodo migliora significativamente l'accuratezza delle risposte nei compiti di risposta a domande mediche, in particolare per domande complesse che richiedono conoscenze dettagliate e aggiornate.

English

Large Language Models (LLMs) have shown remarkable capabilities in general domains but often struggle with tasks requiring specialized knowledge. Conventional Retrieval-Augmented Generation (RAG) techniques typically retrieve external information from static knowledge bases, which can be outdated or incomplete, missing fine-grained clinical details essential for accurate medical question answering. In this work, we propose SearchRAG, a novel framework that overcomes these limitations by leveraging real-time search engines. Our method employs synthetic query generation to convert complex medical questions into search-engine-friendly queries and utilizes uncertainty-based knowledge selection to filter and incorporate the most relevant and informative medical knowledge into the LLM's input. Experimental results demonstrate that our method significantly improves response accuracy in medical question answering tasks, particularly for complex questions requiring detailed and up-to-date knowledge.