ConflictBank: Un conjunto de datos de referencia para evaluar la influencia de conflictos de conocimiento en LLM.

ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM

August 22, 2024

Autores: Zhaochen Su, Jun Zhang, Xiaoye Qu, Tong Zhu, Yanshu Li, Jiashuo Sun, Juntao Li, Min Zhang, Yu Cheng

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han logrado avances impresionantes en numerosas disciplinas, sin embargo, el problema crítico de conflictos de conocimiento, una fuente importante de alucinaciones, rara vez ha sido estudiado. Solo unos pocos estudios han explorado los conflictos entre el conocimiento inherente de los LLMs y el conocimiento contextual recuperado. Sin embargo, aún falta una evaluación exhaustiva de conflictos de conocimiento en los LLMs. Motivados por esta brecha en la investigación, presentamos ConflictBank, el primer banco de pruebas exhaustivo desarrollado para evaluar sistemáticamente conflictos de conocimiento desde tres aspectos: (i) conflictos encontrados en el conocimiento recuperado, (ii) conflictos dentro del conocimiento codificado de los modelos, y (iii) la interacción entre estas formas de conflicto. Nuestra investigación profundiza en cuatro familias de modelos y doce instancias de LLM, analizando meticulosamente conflictos derivados de desinformación, discrepancias temporales y divergencias semánticas. Basándonos en nuestro novedoso marco de construcción propuesto, creamos 7,453,853 pares de afirmación-evidencia y 553,117 pares de preguntas y respuestas. Presentamos numerosos hallazgos sobre la escala del modelo, las causas de conflicto y los tipos de conflicto. Esperamos que nuestro banco de pruebas ConflictBank ayude a la comunidad a comprender mejor el comportamiento del modelo en conflictos y a desarrollar LLMs más confiables.

English

Large language models (LLMs) have achieved impressive advancements across numerous disciplines, yet the critical issue of knowledge conflicts, a major source of hallucinations, has rarely been studied. Only a few research explored the conflicts between the inherent knowledge of LLMs and the retrieved contextual knowledge. However, a thorough assessment of knowledge conflict in LLMs is still missing. Motivated by this research gap, we present ConflictBank, the first comprehensive benchmark developed to systematically evaluate knowledge conflicts from three aspects: (i) conflicts encountered in retrieved knowledge, (ii) conflicts within the models' encoded knowledge, and (iii) the interplay between these conflict forms. Our investigation delves into four model families and twelve LLM instances, meticulously analyzing conflicts stemming from misinformation, temporal discrepancies, and semantic divergences. Based on our proposed novel construction framework, we create 7,453,853 claim-evidence pairs and 553,117 QA pairs. We present numerous findings on model scale, conflict causes, and conflict types. We hope our ConflictBank benchmark will help the community better understand model behavior in conflicts and develop more reliable LLMs.