Évaluation de la rectification des connaissances chinoises dans les grands modèles de langage

Benchmarking Chinese Knowledge Rectification in Large Language Models

September 9, 2024

Auteurs: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen

cs.AI

Résumé

Bien que les grands modèles de langage (LLMs) présentent des capacités génératives remarquables, ils ne sont pas sans défauts, en particulier sous forme d'hallucinations. Ce problème est encore plus prononcé lorsque les LLMs sont appliqués à des langues et domaines spécifiques. Par exemple, les LLMs peuvent générer des informations sans signification lorsqu'ils manipulent des poèmes anciens chinois, des proverbes ou des idiomes, en raison du manque de connaissances spécifiques. À cette fin, cet article présente un référentiel pour rectifier les connaissances chinoises dans les LLMs via l'édition de connaissances. Plus précisément, nous introduisons un nouveau jeu de données chinois, CKnowEdit, en collectant sept types de connaissances à partir de diverses sources, y compris des textes classiques, des idiomes et du contenu de Baidu Tieba Ruozhiba, tenant ainsi compte de la polyphonie, de l'antithèse et des constructions logiques inhérentes à la langue chinoise. À travers l'analyse de ce jeu de données, nous mettons en lumière les défis auxquels sont confrontés les LLMs actuels pour maîtriser le chinois. De plus, notre évaluation des techniques d'édition de connaissances de pointe sur ce jeu de données révèle l'ampleur substantielle des progrès possibles dans la rectification des connaissances chinoises. Le code et le jeu de données sont disponibles sur https://github.com/zjunlp/EasyEdit.

English

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.