Capacitar Modelos de Linguagem de Grande Escala para Desempenho Superior em Respostas a Perguntas Específicas de Domínios Industriais

Empower Large Language Model to Perform Better on Industrial Domain-Specific Question Answering

May 19, 2023

Autores: Zezhong Wang, Fangkai Yang, Pu Zhao, Lu Wang, Jue Zhang, Mohit Garg, Qingwei Lin, Dongmei Zhang

cs.AI

Resumo

O Large Language Model (LLM) tem ganhado popularidade e alcançado resultados notáveis em tarefas de domínio aberto, mas seu desempenho em cenários industriais específicos do domínio real é mediano, uma vez que não possui conhecimento específico. Esse problema tem atraído atenção generalizada, mas há poucos benchmarks relevantes disponíveis. Neste artigo, fornecemos um conjunto de dados de Question Answering (QA) chamado MSQA, que trata de produtos da Microsoft e problemas técnicos de TI enfrentados pelos clientes. Esse conjunto de dados contém conhecimento específico de QA relacionado à nuvem industrial, que não está disponível para LLMs gerais, sendo, portanto, muito adequado para avaliar métodos voltados à melhoria das capacidades de domínio específico do LLM. Além disso, propomos um novo paradigma de interação de modelos que pode capacitar o LLM a alcançar um desempenho melhor em tarefas de domínio específico nas quais ele não é proficiente. Experimentos extensivos demonstram que a abordagem que segue nossa estrutura de fusão de modelos supera o LLM comumente usado com métodos de recuperação.

English

Large Language Model (LLM) has gained popularity and achieved remarkable results in open-domain tasks, but its performance in real industrial domain-specific scenarios is average since there is no specific knowledge in it. This issue has attracted widespread attention, but there are few relevant benchmarks available. In this paper, we provide a benchmark Question Answering (QA) dataset named MSQA, which is about Microsoft products and IT technical problems encountered by customers. This dataset contains industry cloud-specific QA knowledge, which is not available for general LLM, so it is well suited for evaluating methods aimed at improving domain-specific capabilities of LLM. In addition, we propose a new model interaction paradigm that can empower LLM to achieve better performance on domain-specific tasks where it is not proficient. Extensive experiments demonstrate that the approach following our model fusion framework outperforms the commonly used LLM with retrieval methods.