Avaliação do Ajuste de Conhecimento Chinês em Modelos de Linguagem de Grande Escala

Benchmarking Chinese Knowledge Rectification in Large Language Models

September 9, 2024

Autores: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen

cs.AI

Resumo

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem notáveis capacidades generativas, eles não estão isentos de falhas, especialmente na forma de alucinações. Esse problema é ainda mais evidente quando os LLMs são aplicados a idiomas e domínios específicos. Por exemplo, os LLMs podem gerar informações sem sentido ao lidar com poesia antiga chinesa, provérbios ou ditados, devido à falta de conhecimento específico. Nesse sentido, este artigo apresenta um benchmark para corrigir o conhecimento chinês nos LLMs por meio da edição de conhecimento. Especificamente, introduzimos um novo conjunto de dados chinês, CKnowEdit, coletando sete tipos de conhecimento de várias fontes, incluindo textos clássicos, ditados e conteúdo do Baidu Tieba Ruozhiba, levando em consideração a polifonia, antítese e construções lógicas inerentes à língua chinesa. Através da análise deste conjunto de dados, revelamos os desafios enfrentados pelos atuais LLMs ao dominar o chinês. Além disso, nossa avaliação das técnicas de edição de conhecimento de ponta neste conjunto de dados revela um amplo espaço para avanços na retificação do conhecimento chinês. O código e o conjunto de dados estão disponíveis em https://github.com/zjunlp/EasyEdit.

English

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.