Het Injecteren van Domeinspecifieke Kennis in Grote Taalmodellen: Een Uitgebreid Overzicht

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Auteurs: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke successen geboekt in diverse taken zoals natuurlijke taalverwerking, tekstsamenvatting en machinaal vertalen. Hun algemene aard beperkt echter vaak hun effectiviteit in domeinspecifieke toepassingen die gespecialiseerde kennis vereisen, zoals gezondheidszorg, scheikunde of juridische analyse. Om dit aan te pakken, hebben onderzoekers diverse methoden verkend om LLMs te versterken door domeinspecifieke kennis te integreren. In dit overzicht bieden we een uitgebreid overzicht van deze methoden, die we categoriseren in vier belangrijke benaderingen: dynamische kennisinjectie, statische kennisinbedding, modulaire adapters en promptoptimalisatie. Elke benadering biedt unieke mechanismen om LLMs uit te rusten met domeinkennis, waarbij een balans wordt gezocht tussen flexibiliteit, schaalbaarheid en efficiëntie. We bespreken hoe deze methoden LLMs in staat stellen gespecialiseerde taken aan te pakken, vergelijken hun voor- en nadelen, evalueren domeinspecifieke LLMs tegenover algemene LLMs, en belichten de uitdagingen en kansen in dit opkomende veld. Voor wie zich verder wil verdiepen in dit gebied, vatten we ook de veelgebruikte datasets en benchmarks samen. Om onderzoekers op de hoogte te houden van de nieuwste studies, onderhouden we een open-source repository op: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, gewijd aan het documenteren van onderzoek op het gebied van gespecialiseerde LLMs.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.