Valutazione della rettifica della conoscenza cinese nei modelli linguistici di grandi dimensioni

Benchmarking Chinese Knowledge Rectification in Large Language Models

September 9, 2024

Autori: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen

cs.AI

Abstract

Mentre i Grandi Modelli Linguistici (LLM) mostrano notevoli capacità generative, non sono privi di difetti, in particolare sotto forma di allucinazioni. Questo problema è ancora più evidente quando i LLM vengono applicati a lingue e domini specifici. Ad esempio, i LLM possono generare informazioni prive di senso quando si occupano di antiche poesie cinesi, proverbi o modi di dire, a causa della mancanza di conoscenze specifiche. A tal fine, questo articolo introduce un benchmark per correggere le conoscenze cinesi nei LLM tramite la modifica delle conoscenze. In particolare, presentiamo un nuovo dataset cinese, CKnowEdit, raccogliendo sette tipi di conoscenze da varie fonti, tra cui testi classici, modi di dire e contenuti da Baidu Tieba Ruozhiba, tenendo conto della polifonia, antitesi e costrutti logici unici della lingua cinese. Attraverso l'analisi di questo dataset, scopriamo le sfide affrontate dai LLM attuali nel padroneggiare il cinese. Inoltre, la nostra valutazione delle tecniche di modifica delle conoscenze all'avanguardia su questo dataset rivela un ampio margine di miglioramento nella correzione delle conoscenze cinesi. Codice e dataset sono disponibili su https://github.com/zjunlp/EasyEdit.

English

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.