Injeção de Conhecimento Específico de Domínio em Modelos de Linguagem de Grande Escala: Uma Pesquisa Abrangente

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Autores: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado sucesso notável em várias tarefas, como compreensão de linguagem natural, sumarização de texto e tradução automática. No entanto, sua natureza de propósito geral frequentemente limita sua eficácia em aplicações específicas de domínio que exigem conhecimento especializado, como saúde, química ou análise jurídica. Para abordar isso, pesquisadores exploraram diversos métodos para aprimorar LLMs através da integração de conhecimento específico de domínio. Nesta revisão, fornecemos uma visão abrangente desses métodos, que categorizamos em quatro abordagens principais: injeção dinâmica de conhecimento, incorporação estática de conhecimento, adaptadores modulares e otimização de prompts. Cada abordagem oferece mecanismos únicos para equipar LLMs com expertise de domínio, equilibrando trade-offs entre flexibilidade, escalabilidade e eficiência. Discutimos como esses métodos permitem que LLMs lidem com tarefas especializadas, comparamos suas vantagens e desvantagens, avaliamos LLMs específicos de domínio em relação a LLMs gerais e destacamos os desafios e oportunidades neste campo emergente. Para aqueles interessados em se aprofundar nessa área, também resumimos os conjuntos de dados e benchmarks comumente utilizados. Para manter os pesquisadores atualizados sobre os estudos mais recentes, mantemos um repositório de código aberto em: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicado a documentar pesquisas no campo de LLMs especializados.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.