ConflictBank: Um Benchmark para Avaliar a Influência de Conflitos de Conhecimento em LLM

ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM

August 22, 2024

Autores: Zhaochen Su, Jun Zhang, Xiaoye Qu, Tong Zhu, Yanshu Li, Jiashuo Sun, Juntao Li, Min Zhang, Yu Cheng

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) alcançaram avanços impressionantes em diversas disciplinas, no entanto, a questão crítica dos conflitos de conhecimento, uma importante fonte de alucinações, raramente foi estudada. Apenas algumas pesquisas exploraram os conflitos entre o conhecimento inerente dos LLMs e o conhecimento contextual recuperado. No entanto, uma avaliação abrangente dos conflitos de conhecimento em LLMs ainda está ausente. Motivados por essa lacuna na pesquisa, apresentamos o ConflictBank, o primeiro benchmark abrangente desenvolvido para avaliar sistematicamente os conflitos de conhecimento a partir de três aspectos: (i) conflitos encontrados no conhecimento recuperado, (ii) conflitos dentro do conhecimento codificado dos modelos e (iii) a interação entre essas formas de conflito. Nossa investigação aprofunda-se em quatro famílias de modelos e doze instâncias de LLM, analisando meticulosamente conflitos decorrentes de desinformação, discrepâncias temporais e divergências semânticas. Com base em nosso novo framework de construção proposto, criamos 7.453.853 pares de reivindicação-evidência e 553.117 pares de perguntas e respostas. Apresentamos numerosas descobertas sobre escala do modelo, causas de conflito e tipos de conflito. Esperamos que nosso benchmark ConflictBank ajude a comunidade a entender melhor o comportamento do modelo em conflitos e a desenvolver LLMs mais confiáveis.

English

Large language models (LLMs) have achieved impressive advancements across numerous disciplines, yet the critical issue of knowledge conflicts, a major source of hallucinations, has rarely been studied. Only a few research explored the conflicts between the inherent knowledge of LLMs and the retrieved contextual knowledge. However, a thorough assessment of knowledge conflict in LLMs is still missing. Motivated by this research gap, we present ConflictBank, the first comprehensive benchmark developed to systematically evaluate knowledge conflicts from three aspects: (i) conflicts encountered in retrieved knowledge, (ii) conflicts within the models' encoded knowledge, and (iii) the interplay between these conflict forms. Our investigation delves into four model families and twelve LLM instances, meticulously analyzing conflicts stemming from misinformation, temporal discrepancies, and semantic divergences. Based on our proposed novel construction framework, we create 7,453,853 claim-evidence pairs and 553,117 QA pairs. We present numerous findings on model scale, conflict causes, and conflict types. We hope our ConflictBank benchmark will help the community better understand model behavior in conflicts and develop more reliable LLMs.