Управление поведением выбора знаний в LLM с помощью инженерии представлений на основе SAE.

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Авторы: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Аннотация

Большие языковые модели (LLM) могут хранить значительное количество фактических знаний в своих параметрах. Однако их параметрические знания могут противоречить информации, предоставленной в контексте -- это явление, известное как конфликты знаний между контекстом и памятью, может привести к нежелательному поведению модели, такому как полагание на устаревшую или неверную информацию. Анализируя внутренние активации LLM, мы обнаружили, что они могут внутренне регистрировать сигналы конфликта знаний на средних уровнях. Такие сигналы позволяют нам обнаруживать, происходит ли конфликт знаний, и использовать стратегии вмешательства во время вывода для его разрешения. В этой работе мы предлагаем SpARE, метод инженерии представлений без обучения, который использует предварительно обученные разреженные автоэнкодеры (SAE) для управления поведением выбора знаний LLM. SpARE определяет функциональные особенности, которые управляют поведением выбора знаний, и применяет их для редактирования внутренних активаций LLM во время вывода. Наши экспериментальные результаты показывают, что SpARE может эффективно контролировать использование любого источника знаний для разрешения конфликта знаний в задачах ответов на вопросы в открытой области, превосходя существующие методы инженерии представлений (+10%) а также методы контрастного декодирования (+15%).

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).