Guiando Comportamientos de Selección de Conocimiento en LLMs a través de Ingeniería de Representación basada en SAE.

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Autores: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) pueden almacenar una cantidad significativa de conocimiento factual en sus parámetros. Sin embargo, su conocimiento paramétrico puede entrar en conflicto con la información proporcionada en el contexto -- este fenómeno, conocido como conflictos de conocimiento memoria-contexto, puede llevar a un comportamiento no deseado del modelo, como depender de información desactualizada o incorrecta. Al analizar las activaciones internas de los LLMs, encontramos que pueden registrar internamente las señales de conflicto de conocimiento en capas intermedias. Estas señales nos permiten detectar si ocurre un conflicto de conocimiento y utilizar estrategias de intervención en tiempo de inferencia para resolverlo. En este trabajo, proponemos SpARE, un método de ingeniería de representación sin entrenamiento que utiliza auto-codificadores dispersos pre-entrenados (SAEs) para controlar el comportamiento de selección de conocimiento de los LLMs. SpARE identifica las características funcionales que controlan los comportamientos de selección de conocimiento y las aplica para editar las activaciones internas de los LLMs en tiempo de inferencia. Nuestros resultados experimentales muestran que SpARE puede controlar efectivamente el uso de cualquiera de las fuentes de conocimiento para resolver conflictos de conocimiento en tareas de preguntas y respuestas de dominio abierto, superando a los métodos existentes de ingeniería de representación (+10%) así como a los métodos de decodificación contrastiva (+15%).

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).