SearchRAG: Могут ли поисковые системы быть полезны для ответов на медицинские вопросы с использованием языковых моделей?

SearchRAG: Can Search Engines Be Helpful for LLM-based Medical Question Answering?

February 18, 2025

Авторы: Yucheng Shi, Tianze Yang, Canyu Chen, Quanzheng Li, Tianming Liu, Xiang Li, Ninghao Liu

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют впечатляющие способности в общих областях, но часто испытывают трудности с задачами, требующими специализированных знаний. Традиционные методы генерации с усилением за счёт извлечения (RAG) обычно извлекают внешнюю информацию из статических баз знаний, которые могут быть устаревшими или неполными, упуская детализированные клинические данные, необходимые для точного ответа на медицинские вопросы. В данной работе мы предлагаем SearchRAG — новый подход, который преодолевает эти ограничения за счёт использования поисковых систем в реальном времени. Наш метод применяет синтетическую генерацию запросов для преобразования сложных медицинских вопросов в запросы, удобные для поисковых систем, и использует выбор знаний на основе неопределённости для фильтрации и включения наиболее релевантной и информативной медицинской информации во входные данные LLM. Экспериментальные результаты показывают, что наш метод значительно повышает точность ответов в задачах медицинского вопросно-ответного взаимодействия, особенно для сложных вопросов, требующих детализированных и актуальных знаний.

English

Large Language Models (LLMs) have shown remarkable capabilities in general domains but often struggle with tasks requiring specialized knowledge. Conventional Retrieval-Augmented Generation (RAG) techniques typically retrieve external information from static knowledge bases, which can be outdated or incomplete, missing fine-grained clinical details essential for accurate medical question answering. In this work, we propose SearchRAG, a novel framework that overcomes these limitations by leveraging real-time search engines. Our method employs synthetic query generation to convert complex medical questions into search-engine-friendly queries and utilizes uncertainty-based knowledge selection to filter and incorporate the most relevant and informative medical knowledge into the LLM's input. Experimental results demonstrate that our method significantly improves response accuracy in medical question answering tasks, particularly for complex questions requiring detailed and up-to-date knowledge.