ドメイン固有知識の大規模言語モデルへの注入：包括的調査

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

著者: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

要旨

大規模言語モデル（LLMs）は、自然言語理解、テキスト要約、機械翻訳など、さまざまなタスクで顕著な成功を収めています。しかし、その汎用性の高さゆえに、医療、化学、法律分析など専門知識を必要とするドメイン固有のアプリケーションでは、その効果が限られることがあります。この課題に対処するため、研究者たちはドメイン固有の知識を統合することでLLMsを強化する多様な手法を探求してきました。本調査では、これらの手法を包括的に概観し、動的知識注入、静的知識埋め込み、モジュラーアダプター、プロンプト最適化という4つの主要なアプローチに分類します。各アプローチは、柔軟性、拡張性、効率性のバランスを取りながら、LLMsにドメイン専門知識を提供する独自のメカニズムを提供します。これらの手法がLLMsに専門タスクを遂行させる方法を議論し、それぞれの利点と欠点を比較し、ドメイン固有のLLMsと汎用LLMsを評価し、この新興分野における課題と機会を強調します。さらに、この分野に深く関心を持つ読者のために、一般的に使用されるデータセットとベンチマークをまとめています。研究者が最新の研究を把握できるよう、専門化されたLLMの分野における研究を記録するためのオープンソースを以下に維持しています：https://github.com/abilliyb/Knowledge_Injection_Survey_Papers。

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.