WebGLM : Vers un système efficace de réponse aux questions enrichi par le web avec des préférences humaines

WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences

June 13, 2023

Auteurs: Xiao Liu, Hanyu Lai, Hao Yu, Yifan Xu, Aohan Zeng, Zhengxiao Du, Peng Zhang, Yuxiao Dong, Jie Tang

cs.AI

Résumé

Nous présentons WebGLM, un système de question-réponse enrichi par le web, basé sur le Modèle de Langage Général (GLM). Son objectif est d'augmenter un grand modèle de langage pré-entraîné (LLM) avec des capacités de recherche et de récupération sur le web, tout en restant efficace pour des déploiements en conditions réelles. Pour y parvenir, nous développons WebGLM avec des stratégies pour le récupérateur augmenté par LLM, le générateur bootstrapé et l'évaluateur prenant en compte les préférences humaines. Plus précisément, nous identifions et corrigeons les limitations de WebGPT (OpenAI), ce qui permet à WebGLM de bénéficier d'avantages en termes de précision, d'efficacité et de rentabilité. En outre, nous proposons des critères systématiques pour évaluer les systèmes de question-réponse enrichis par le web. Nous menons des évaluations humaines multidimensionnelles et des études d'ablation quantitatives, qui suggèrent que les conceptions proposées pour WebGLM surpassent les systèmes existants. WebGLM, avec le GLM à 10 milliards de paramètres (10B), montre des performances supérieures à WebGPT de taille similaire (13B) et même comparables à WebGPT (175B) dans les évaluations humaines. Le code, la démo et les données sont disponibles à l'adresse suivante : https://github.com/THUDM/WebGLM.

English

We present WebGLM, a web-enhanced question-answering system based on the General Language Model (GLM). Its goal is to augment a pre-trained large language model (LLM) with web search and retrieval capabilities while being efficient for real-world deployments. To achieve this, we develop WebGLM with strategies for the LLM-augmented retriever, bootstrapped generator, and human preference-aware scorer. Specifically, we identify and address the limitations of WebGPT (OpenAI), through which WebGLM is enabled with accuracy, efficiency, and cost-effectiveness advantages. In addition, we propose systematic criteria for evaluating web-enhanced QA systems. We conduct multi-dimensional human evaluation and quantitative ablation studies, which suggest the outperformance of the proposed WebGLM designs over existing systems. WebGLM with the 10-billion-parameter GLM (10B) is shown to perform better than the similar-sized WebGPT (13B) and even comparably to WebGPT (175B) in human evaluation. The code, demo, and data are at https://github.com/THUDM/WebGLM.