Orientando Comportamentos de Seleção de Conhecimento em LLMs por meio da Engenharia de Representação Baseada em SAE

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Autores: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) podem armazenar uma quantidade significativa de conhecimento factual em seus parâmetros. No entanto, o conhecimento paramétrico deles pode entrar em conflito com as informações fornecidas no contexto -- esse fenômeno, conhecido como conflitos de conhecimento entre contexto e memória, pode levar a comportamentos indesejáveis do modelo, como a dependência de informações desatualizadas ou incorretas. Ao analisar as ativações internas dos LLMs, descobrimos que eles podem registrar internamente os sinais de conflito de conhecimento em camadas intermediárias. Tais sinais nos permitem detectar se ocorre um conflito de conhecimento e usar estratégias de intervenção no momento da inferência para resolvê-lo. Neste trabalho, propomos o SpARE, um método de engenharia de representação sem treinamento que utiliza autoencoders esparsos (SAEs) pré-treinados para controlar o comportamento de seleção de conhecimento dos LLMs. O SpARE identifica as características funcionais que controlam os comportamentos de seleção de conhecimento e as aplica para editar as ativações internas dos LLMs no momento da inferência. Nossos resultados experimentais mostram que o SpARE pode controlar efetivamente o uso de qualquer fonte de conhecimento para resolver conflitos de conhecimento em tarefas de perguntas e respostas em domínio aberto, superando os métodos existentes de engenharia de representação (+10%) e os métodos de decodificação contrastiva (+15%).

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).