Análisis del Flujo Residual de Modelos de Lenguaje ante Conflictos de Conocimiento.

Analysing the Residual Stream of Language Models Under Knowledge Conflicts

October 21, 2024

Autores: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) pueden almacenar una cantidad significativa de conocimiento factual en sus parámetros. Sin embargo, su conocimiento paramétrico puede entrar en conflicto con la información proporcionada en el contexto. Estos conflictos pueden llevar a un comportamiento no deseado del modelo, como depender de información desactualizada o incorrecta. En este trabajo, investigamos si los LLMs pueden identificar conflictos de conocimiento y si es posible saber en qué fuente de conocimiento se basará el modelo analizando el flujo residual del LLM. A través de tareas de exploración, descubrimos que los LLMs pueden registrar internamente la señal de conflicto de conocimiento en el flujo residual, lo cual puede ser detectado con precisión mediante la exploración de las activaciones intermedias del modelo. Esto nos permite detectar conflictos dentro del flujo residual antes de generar las respuestas sin modificar la entrada o los parámetros del modelo. Además, observamos que el flujo residual muestra patrones significativamente diferentes cuando el modelo se basa en conocimiento contextual en lugar de conocimiento paramétrico para resolver conflictos. Este patrón puede ser utilizado para estimar el comportamiento de los LLMs cuando ocurre un conflicto y prevenir respuestas inesperadas antes de producir las respuestas. Nuestro análisis ofrece información sobre cómo los LLMs gestionan internamente los conflictos de conocimiento y sienta las bases para desarrollar métodos para controlar los procesos de selección de conocimiento.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.