Intégration de connaissances spécifiques à un domaine dans les grands modèles de langage : une étude approfondie

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Auteurs: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont démontré un succès remarquable dans diverses tâches telles que la compréhension du langage naturel, la synthèse de texte et la traduction automatique. Cependant, leur nature généraliste limite souvent leur efficacité dans des applications spécifiques à un domaine nécessitant des connaissances spécialisées, comme la santé, la chimie ou l'analyse juridique. Pour remédier à cela, les chercheurs ont exploré diverses méthodes pour améliorer les LLMs en intégrant des connaissances spécifiques à un domaine. Dans cette étude, nous proposons un aperçu complet de ces méthodes, que nous catégorisons en quatre approches clés : l'injection dynamique de connaissances, l'intégration statique de connaissances, les adaptateurs modulaires et l'optimisation des prompts. Chaque approche offre des mécanismes uniques pour doter les LLMs d'une expertise dans un domaine, en équilibrant les compromis entre flexibilité, évolutivité et efficacité. Nous discutons de la manière dont ces méthodes permettent aux LLMs de s'attaquer à des tâches spécialisées, comparons leurs avantages et inconvénients, évaluons les LLMs spécifiques à un domaine par rapport aux LLMs généralistes, et mettons en lumière les défis et opportunités dans ce domaine émergent. Pour ceux qui souhaitent approfondir ce sujet, nous résumons également les ensembles de données et benchmarks couramment utilisés. Pour tenir les chercheurs informés des dernières études, nous maintenons une ressource open-source à l'adresse suivante : https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dédiée à la documentation des recherches dans le domaine des LLMs spécialisés.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.