Внедрение предметно-ориентированных знаний в крупные языковые модели: всесторонний обзор

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Авторы: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие успехи в решении различных задач, таких как понимание естественного языка, суммаризация текста и машинный перевод. Однако их универсальный характер часто ограничивает их эффективность в предметно-ориентированных приложениях, требующих специализированных знаний, таких как здравоохранение, химия или юридический анализ. Для решения этой проблемы исследователи изучили различные методы улучшения LLM путем интеграции предметно-ориентированных знаний. В данном обзоре мы предоставляем всесторонний обзор этих методов, которые мы классифицируем на четыре ключевых подхода: динамическое внедрение знаний, статическое встраивание знаний, модульные адаптеры и оптимизация промптов. Каждый из этих подходов предлагает уникальные механизмы для оснащения LLM предметной экспертизой, балансируя компромиссы между гибкостью, масштабируемостью и эффективностью. Мы обсуждаем, как эти методы позволяют LLM решать специализированные задачи, сравниваем их преимущества и недостатки, оцениваем предметно-ориентированные LLM в сравнении с универсальными, а также выделяем вызовы и возможности в этой развивающейся области. Для тех, кто заинтересован в более глубоком изучении этой темы, мы также суммируем часто используемые наборы данных и бенчмарки. Чтобы исследователи оставались в курсе последних исследований, мы поддерживаем открытый репозиторий по адресу: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, посвященный документации исследований в области специализированных LLM.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.