Inyección de Conocimiento Específico del Dominio en Modelos de Lenguaje de Gran Escala: Una Revisión Integral

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

Autores: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han demostrado un éxito notable en diversas tareas, como la comprensión del lenguaje natural, la síntesis de texto y la traducción automática. Sin embargo, su naturaleza de propósito general a menudo limita su eficacia en aplicaciones específicas de dominio que requieren conocimientos especializados, como en el ámbito de la salud, la química o el análisis legal. Para abordar esto, los investigadores han explorado diversos métodos para mejorar los LLMs mediante la integración de conocimientos específicos del dominio. En este estudio, ofrecemos una visión general exhaustiva de estos métodos, que categorizamos en cuatro enfoques clave: inyección dinámica de conocimiento, incrustación estática de conocimiento, adaptadores modulares y optimización de prompts. Cada enfoque ofrece mecanismos únicos para dotar a los LLMs de experiencia en dominios específicos, equilibrando las compensaciones entre flexibilidad, escalabilidad y eficiencia. Discutimos cómo estos métodos permiten a los LLMs abordar tareas especializadas, comparamos sus ventajas y desventajas, evaluamos los LLMs específicos de dominio frente a los LLMs de propósito general, y destacamos los desafíos y oportunidades en este campo emergente. Para aquellos interesados en profundizar en esta área, también resumimos los conjuntos de datos y puntos de referencia comúnmente utilizados. Para mantener a los investigadores actualizados sobre los últimos estudios, mantenemos un repositorio de código abierto en: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicado a documentar la investigación en el campo de los LLMs especializados.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.