Iniezione di Conoscenza Specifica del Dominio nei Modelli Linguistici di Grande Scala: Una Rassegna Completa

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Autori: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato un successo straordinario in vari compiti come la comprensione del linguaggio naturale, la sintesi del testo e la traduzione automatica. Tuttavia, la loro natura general-purpose spesso limita la loro efficacia in applicazioni specifiche di dominio che richiedono conoscenze specializzate, come l'assistenza sanitaria, la chimica o l'analisi legale. Per affrontare questo problema, i ricercatori hanno esplorato diversi metodi per migliorare i LLM integrando conoscenze specifiche del dominio. In questo survey, forniamo una panoramica completa di questi metodi, che categorizziamo in quattro approcci chiave: iniezione dinamica della conoscenza, incorporamento statico della conoscenza, adattatori modulari e ottimizzazione dei prompt. Ciascun approccio offre meccanismi unici per dotare i LLM di competenze di dominio, bilanciando i compromessi tra flessibilità, scalabilità ed efficienza. Discutiamo come questi metodi consentano ai LLM di affrontare compiti specializzati, confrontiamo i loro vantaggi e svantaggi, valutiamo i LLM specifici di dominio rispetto ai LLM generalisti e evidenziamo le sfide e le opportunità in questo campo emergente. Per coloro che sono interessati ad approfondire quest'area, riassumiamo anche i dataset e i benchmark comunemente utilizzati. Per mantenere i ricercatori aggiornati sugli studi più recenti, manteniamo un repository open-source all'indirizzo: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicato a documentare la ricerca nel campo dei LLM specializzati.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.