Integration von domänenspezifischem Wissen in große Sprachmodelle: Eine umfassende Übersicht

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Autoren: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in verschiedenen Aufgaben wie natürlichem Sprachverständnis, Textzusammenfassung und maschineller Übersetzung gezeigt. Ihre allgemeine Natur schränkt jedoch oft ihre Effektivität in domänenspezifischen Anwendungen ein, die spezialisiertes Wissen erfordern, wie beispielsweise im Gesundheitswesen, in der Chemie oder in der juristischen Analyse. Um dies zu adressieren, haben Forscher verschiedene Methoden untersucht, um LLMs durch die Integration von domänenspezifischem Wissen zu verbessern. In dieser Übersicht bieten wir einen umfassenden Überblick über diese Methoden, die wir in vier Schlüsselansätze kategorisieren: dynamische Wissenseinspeisung, statische Wissenseinbettung, modulare Adapter und Prompt-Optimierung. Jeder Ansatz bietet einzigartige Mechanismen, um LLMs mit Domänenexpertise auszustatten, und balanciert dabei die Kompromisse zwischen Flexibilität, Skalierbarkeit und Effizienz. Wir diskutieren, wie diese Methoden es LLMs ermöglichen, spezialisierte Aufgaben zu bewältigen, vergleichen ihre Vor- und Nachteile, bewerten domänenspezifische LLMs im Vergleich zu allgemeinen LLMs und heben die Herausforderungen und Chancen in diesem aufstrebenden Bereich hervor. Für diejenigen, die sich tiefer mit diesem Gebiet befassen möchten, fassen wir auch die häufig verwendeten Datensätze und Benchmarks zusammen. Um Forscher über die neuesten Studien auf dem Laufenden zu halten, pflegen wir ein Open-Source-Repository unter: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, das der Dokumentation von Forschung im Bereich spezialisierter LLMs gewidmet ist.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.