Vergleich der chinesischen Wissenskorrektur in großen Sprachmodellen

Benchmarking Chinese Knowledge Rectification in Large Language Models

September 9, 2024

Autoren: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen

cs.AI

Zusammenfassung

Obwohl Large Language Models (LLMs) bemerkenswerte generative Fähigkeiten aufweisen, sind sie nicht ohne Mängel, insbesondere in Form von Halluzinationen. Dieses Problem tritt noch deutlicher zutage, wenn LLMs auf spezifische Sprachen und Fachgebiete angewendet werden. Zum Beispiel können LLMs unsinnige Informationen generieren, wenn sie mit chinesischer antiker Dichtung, Sprichwörtern oder Redewendungen umgehen, aufgrund des Mangels an spezifischem Wissen. Zu diesem Zweck stellt dieser Artikel einen Maßstab zur Korrektur des chinesischen Wissens in LLMs durch Wissensbearbeitung vor. Speziell führen wir ein neues chinesisches Datenset, CKnowEdit, ein, indem wir sieben Arten von Wissen aus verschiedenen Quellen sammeln, einschließlich klassischer Texte, Redewendungen und Inhalten von Baidu Tieba Ruozhiba, wodurch die einzigartige Polyphonie, Antithese und logische Strukturen der chinesischen Sprache berücksichtigt werden. Durch die Analyse dieses Datensets decken wir die Herausforderungen auf, denen aktuelle LLMs bei der Beherrschung des Chinesischen gegenüberstehen. Darüber hinaus zeigen unsere Bewertungen modernster Techniken zur Wissensbearbeitung anhand dieses Datensets das erhebliche Potenzial für Fortschritte bei der Korrektur des chinesischen Wissens auf. Code und Datenset sind verfügbar unter https://github.com/zjunlp/EasyEdit.

English

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.