ConflictBank: Набор данных для оценки влияния конфликтов знаний в моделях языкового моделирования с ограниченной памятью.

ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM

August 22, 2024

Авторы: Zhaochen Su, Jun Zhang, Xiaoye Qu, Tong Zhu, Yanshu Li, Jiashuo Sun, Juntao Li, Min Zhang, Yu Cheng

cs.AI

Аннотация

Большие языковые модели (LLM) достигли впечатляющих прорывов во многих областях, однако критически важный вопрос конфликтов знаний, являющийся основным источником галлюцинаций, редко изучался. Только несколько исследований занимались конфликтами между врожденным знанием LLM и извлеченным контекстуальным знанием. Тем не менее, полноценная оценка конфликтов знаний в LLM все еще отсутствует. Вдохновленные этим исследовательским пробелом, мы представляем ConflictBank, первый комплексный бенчмарк, разработанный для систематической оценки конфликтов знаний с трех точек зрения: (i) конфликты, возникающие в извлеченном знании, (ii) конфликты в закодированном знании моделей и (iii) взаимодействие между этими формами конфликтов. Наше исследование углубляется в четыре семейства моделей и двенадцать экземпляров LLM, тщательно анализируя конфликты, происходящие из дезинформации, временных расхождений и семантических расхождений. Основываясь на нашей предложенной новой конструктивной структуре, мы создаем 7 453 853 пары утверждение-доказательство и 553 117 пар вопрос-ответ. Мы представляем множество результатов о масштабе модели, причинах конфликтов и типах конфликтов. Мы надеемся, что наш бенчмарк ConflictBank поможет сообществу лучше понять поведение модели в конфликтах и разработать более надежные LLM.

English

Large language models (LLMs) have achieved impressive advancements across numerous disciplines, yet the critical issue of knowledge conflicts, a major source of hallucinations, has rarely been studied. Only a few research explored the conflicts between the inherent knowledge of LLMs and the retrieved contextual knowledge. However, a thorough assessment of knowledge conflict in LLMs is still missing. Motivated by this research gap, we present ConflictBank, the first comprehensive benchmark developed to systematically evaluate knowledge conflicts from three aspects: (i) conflicts encountered in retrieved knowledge, (ii) conflicts within the models' encoded knowledge, and (iii) the interplay between these conflict forms. Our investigation delves into four model families and twelve LLM instances, meticulously analyzing conflicts stemming from misinformation, temporal discrepancies, and semantic divergences. Based on our proposed novel construction framework, we create 7,453,853 claim-evidence pairs and 553,117 QA pairs. We present numerous findings on model scale, conflict causes, and conflict types. We hope our ConflictBank benchmark will help the community better understand model behavior in conflicts and develop more reliable LLMs.