ConflictBank: LLM에서 지식 충돌의 영향을 평가하기 위한 벤치마크

ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM

August 22, 2024

저자: Zhaochen Su, Jun Zhang, Xiaoye Qu, Tong Zhu, Yanshu Li, Jiashuo Sun, Juntao Li, Min Zhang, Yu Cheng

cs.AI

초록

대형 언어 모델(LLMs)은 다양한 학문 분야에서 놀라운 발전을 이루었지만, 환각의 주요 원인인 지식 충돌에 대한 중요한 문제는 거의 연구되지 않았습니다. 몇몇 연구만이 LLMs의 본질적 지식과 검색된 맥락적 지식 간의 충돌을 탐구했습니다. 그러나 LLMs의 지식 충돌에 대한 철저한 평가는 아직 미비합니다. 이 연구 공백에 동기부여를 받아, 우리는 ConflictBank를 제시합니다. 이는 첫 번째로 체계적으로 평가하기 위해 개발된 포괄적인 벤치마크로, (i) 검색된 지식에서 발생하는 충돌, (ii) 모델이 인코딩한 지식 내의 충돌, (iii) 이러한 충돌 형태 간의 상호작용을 체계적으로 평가합니다. 우리의 조사는 네 가지 모델 패밀리와 열두 개의 LLM 인스턴스에 대해 교차정보, 시간적 불일치, 의미적 차이로 인한 충돌을 세심하게 분석합니다. 우리가 제안한 새로운 구축 프레임워크를 기반으로, 7,453,853개의 주장-증거 쌍과 553,117개의 질문-답변 쌍을 생성합니다. 우리는 모델 규모, 충돌 원인 및 충돌 유형에 대한 다수의 결과를 제시합니다. 우리의 ConflictBank 벤치마크가 커뮤니티가 충돌 상황에서 모델 행동을 더 잘 이해하고 더 신뢰할 수 있는 LLMs를 개발하는 데 도움이 되기를 희망합니다.

English

Large language models (LLMs) have achieved impressive advancements across numerous disciplines, yet the critical issue of knowledge conflicts, a major source of hallucinations, has rarely been studied. Only a few research explored the conflicts between the inherent knowledge of LLMs and the retrieved contextual knowledge. However, a thorough assessment of knowledge conflict in LLMs is still missing. Motivated by this research gap, we present ConflictBank, the first comprehensive benchmark developed to systematically evaluate knowledge conflicts from three aspects: (i) conflicts encountered in retrieved knowledge, (ii) conflicts within the models' encoded knowledge, and (iii) the interplay between these conflict forms. Our investigation delves into four model families and twelve LLM instances, meticulously analyzing conflicts stemming from misinformation, temporal discrepancies, and semantic divergences. Based on our proposed novel construction framework, we create 7,453,853 claim-evidence pairs and 553,117 QA pairs. We present numerous findings on model scale, conflict causes, and conflict types. We hope our ConflictBank benchmark will help the community better understand model behavior in conflicts and develop more reliable LLMs.