Оценка исправления знаний на китайском языке в крупных языковых моделях

Benchmarking Chinese Knowledge Rectification in Large Language Models

September 9, 2024

Авторы: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen

cs.AI

Аннотация

Хотя большие языковые модели (LLM) обладают замечательными генеративными способностями, они не лишены недостатков, особенно в виде галлюцинаций. Эта проблема становится еще более заметной, когда LLM применяются к конкретным языкам и областям. Например, LLM могут генерировать бессмысленную информацию при работе с древнекитайской поэзией, пословицами или идиомами из-за отсутствия специфических знаний. В этой статье представляется методика для исправления китайских знаний в LLM путем редактирования знаний. Конкретно, мы представляем новый китайский набор данных, CKnowEdit, собрав семь типов знаний из различных источников, включая классические тексты, идиомы и контент из Baidu Tieba Ruozhiba, учитывая уникальную полифонию, антитезы и логические конструкции, присущие китайскому языку. Анализируя этот набор данных, мы выявляем проблемы, с которыми сталкиваются текущие LLM в освоении китайского языка. Более того, наше оценивание передовых техник редактирования знаний на этом наборе данных раскрывает значительные возможности для улучшения исправления китайских знаний. Код и набор данных доступны по ссылке https://github.com/zjunlp/EasyEdit.

English

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.