SAEベースの表現工学を通じてLLMの知識選択行動を誘導する

要旨

大規模言語モデル（LLMs）は、そのパラメータに膨大な事実知識を格納することができます。しかし、そのパラメータ知識は文脈で提供される情報と矛盾する可能性があります。この現象はコンテキストメモリ知識の衝突として知られており、古い情報や誤った情報への依存など、望ましくないモデルの振る舞いにつながる可能性があります。LLMsの内部活性を分析すると、中間層で知識の衝突の信号を内部的に登録できることがわかります。このような信号により、知識の衝突が発生しているかどうかを検出し、推論時の介入戦略を使用して解決することができます。本研究では、事前学習された疎なオートエンコーダ（SAEs）を使用してLLMsの知識選択挙動を制御するトレーニングフリーの表現エンジニアリング手法であるSpAREを提案しています。SpAREは、知識選択挙動を制御する機能的特徴を特定し、それらを適用して推論時にLLMsの内部活性を編集します。実験結果によると、SpAREはオープンドメインの質問応答タスクにおいて知識の衝突を解決するためにどちらの知識ソースの使用を効果的に制御でき、既存の表現エンジニアリング手法（+10％）やコントラストデコーディング手法（+15％）を上回ることが示されました。

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).

SAEベースの表現工学を通じてLLMの知識選択行動を誘導する

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

要旨

Summary

Support

Support