Potenciar a los Modelos de Lenguaje de Gran Escala para un Mejor Desempeño en la Respuesta a Preguntas Específicas de Dominios Industriales

Empower Large Language Model to Perform Better on Industrial Domain-Specific Question Answering

May 19, 2023

Autores: Zezhong Wang, Fangkai Yang, Pu Zhao, Lu Wang, Jue Zhang, Mohit Garg, Qingwei Lin, Dongmei Zhang

cs.AI

Resumen

El Modelo de Lenguaje a Gran Escala (LLM, por sus siglas en inglés) ha ganado popularidad y ha logrado resultados notables en tareas de dominio abierto, pero su desempeño en escenarios industriales específicos del dominio real es promedio, ya que carece de conocimiento específico. Este problema ha atraído una atención generalizada, pero existen pocos puntos de referencia relevantes disponibles. En este artículo, proporcionamos un conjunto de datos de referencia para Preguntas y Respuestas (QA, por sus siglas en inglés) llamado MSQA, que trata sobre productos de Microsoft y problemas técnicos de TI encontrados por los clientes. Este conjunto de datos contiene conocimiento específico de QA en la nube industrial, que no está disponible para los LLM generales, por lo que es muy adecuado para evaluar métodos destinados a mejorar las capacidades específicas del dominio de los LLM. Además, proponemos un nuevo paradigma de interacción de modelos que puede potenciar a los LLM para lograr un mejor desempeño en tareas específicas del dominio en las que no son expertos. Experimentos extensos demuestran que el enfoque que sigue nuestro marco de fusión de modelos supera a los métodos comúnmente utilizados de LLM con recuperación.

English

Large Language Model (LLM) has gained popularity and achieved remarkable results in open-domain tasks, but its performance in real industrial domain-specific scenarios is average since there is no specific knowledge in it. This issue has attracted widespread attention, but there are few relevant benchmarks available. In this paper, we provide a benchmark Question Answering (QA) dataset named MSQA, which is about Microsoft products and IT technical problems encountered by customers. This dataset contains industry cloud-specific QA knowledge, which is not available for general LLM, so it is well suited for evaluating methods aimed at improving domain-specific capabilities of LLM. In addition, we propose a new model interaction paradigm that can empower LLM to achieve better performance on domain-specific tasks where it is not proficient. Extensive experiments demonstrate that the approach following our model fusion framework outperforms the commonly used LLM with retrieval methods.