Renforcer les capacités des grands modèles de langage pour une meilleure performance dans le domaine spécifique de la réponse aux questions industrielles.

Empower Large Language Model to Perform Better on Industrial Domain-Specific Question Answering

May 19, 2023

Auteurs: Zezhong Wang, Fangkai Yang, Pu Zhao, Lu Wang, Jue Zhang, Mohit Garg, Qingwei Lin, Dongmei Zhang

cs.AI

Résumé

Le modèle de langage à grande échelle (LLM) a gagné en popularité et a obtenu des résultats remarquables dans les tâches en domaine ouvert, mais ses performances dans les scénarios industriels spécifiques à un domaine sont moyennes, car il ne possède pas de connaissances spécifiques. Ce problème a attiré une attention généralisée, mais il existe peu de benchmarks pertinents disponibles. Dans cet article, nous proposons un ensemble de données de questions-réponses (QA) nommé MSQA, qui concerne les produits Microsoft et les problèmes techniques informatiques rencontrés par les clients. Cet ensemble de données contient des connaissances spécifiques au cloud industriel, qui ne sont pas disponibles pour les LLM généraux, ce qui le rend bien adapté pour évaluer les méthodes visant à améliorer les capacités spécifiques à un domaine des LLM. De plus, nous proposons un nouveau paradigme d'interaction de modèle qui peut permettre aux LLM d'obtenir de meilleures performances sur des tâches spécifiques à un domaine où ils ne sont pas compétents. Des expériences approfondies démontrent que l'approche suivant notre cadre de fusion de modèles surpasse les méthodes couramment utilisées avec les LLM et la récupération d'informations.

English

Large Language Model (LLM) has gained popularity and achieved remarkable results in open-domain tasks, but its performance in real industrial domain-specific scenarios is average since there is no specific knowledge in it. This issue has attracted widespread attention, but there are few relevant benchmarks available. In this paper, we provide a benchmark Question Answering (QA) dataset named MSQA, which is about Microsoft products and IT technical problems encountered by customers. This dataset contains industry cloud-specific QA knowledge, which is not available for general LLM, so it is well suited for evaluating methods aimed at improving domain-specific capabilities of LLM. In addition, we propose a new model interaction paradigm that can empower LLM to achieve better performance on domain-specific tasks where it is not proficient. Extensive experiments demonstrate that the approach following our model fusion framework outperforms the commonly used LLM with retrieval methods.