O Que É Visto Não Pode Ser Desvisto: O Efeito Disruptivo do Conflito de Conhecimento em Modelos de Linguagem de Grande Escala

What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models

June 6, 2025

Autores: Kaiser Sun, Fan Bai, Mark Dredze

cs.AI

Resumo

Modelos de linguagem de grande escala frequentemente dependem tanto de entrada contextual quanto de conhecimento paramétrico para realizar tarefas. No entanto, essas fontes podem entrar em conflito, especialmente quando documentos recuperados contradizem o conhecimento paramétrico do modelo. Propomos um framework de diagnóstico para avaliar sistematicamente o comportamento de LLMs sob conflito entre contexto e memória, onde a informação contextual diverge de suas crenças paramétricas. Construímos dados de diagnóstico que eliciam esses conflitos e analisamos o desempenho do modelo em vários tipos de tarefas. Nossas descobertas revelam que (1) o conflito de conhecimento tem impacto mínimo em tarefas que não exigem utilização de conhecimento, (2) o desempenho do modelo é consistentemente maior quando o conhecimento contextual e paramétrico estão alinhados, (3) os modelos são incapazes de suprimir completamente seu conhecimento interno, mesmo quando instruídos, e (4) fornecer racionalidades que explicam o conflito aumenta a dependência de contextos. Esses insights levantam preocupações sobre a validade da avaliação baseada em modelos e destacam a necessidade de considerar o conflito de conhecimento na implantação de LLMs.

English

Large language models frequently rely on both contextual input and parametric knowledge to perform tasks. However, these sources can come into conflict, especially when retrieved documents contradict the model's parametric knowledge. We propose a diagnostic framework to systematically evaluate LLM behavior under context-memory conflict, where the contextual information diverges from their parametric beliefs. We construct diagnostic data that elicit these conflicts and analyze model performance across multiple task types. Our findings reveal that (1) knowledge conflict has minimal impact on tasks that do not require knowledge utilization, (2) model performance is consistently higher when contextual and parametric knowledge are aligned, (3) models are unable to fully suppress their internal knowledge even when instructed, and (4) providing rationales that explain the conflict increases reliance on contexts. These insights raise concerns about the validity of model-based evaluation and underscore the need to account for knowledge conflict in the deployment of LLMs.