Patchscope: 言語モデルの隠れ表現を検査するための統一フレームワーク

要旨

大規模言語モデル（LLM）の隠れ表現にエンコードされた情報を調査することで、モデルの挙動を説明し、人間の価値観との整合性を検証することが可能です。LLMが人間が理解可能なテキストを生成する能力を考慮し、モデル自体を活用してその内部表現を自然言語で説明することを提案します。本論文では、Patchscopesと呼ばれるフレームワークを紹介し、LLMの計算に関する幅広い研究課題に答えるためにどのように使用できるかを示します。従来の解釈可能性手法が、表現を語彙空間に投影し、LLMの計算に介入することを基にしていることを示し、それらがこのフレームワークの特殊なインスタンスと見なせることを示します。さらに、初期層の調査に失敗したり、表現力が不足したりするといった従来手法の欠点は、Patchscopeによって緩和できることを示します。従来の調査技術を統合するだけでなく、Patchscopesは、より能力の高いモデルを使用して小さなモデルの表現を説明するといった新たな可能性を開き、マルチホップ推論における自己修正といった新たな応用を可能にします。

English

Inspecting the information encoded in hidden representations of large language models (LLMs) can explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the model itself to explain its internal representations in natural language. We introduce a framework called Patchscopes and show how it can be used to answer a wide range of research questions about an LLM's computation. We show that prior interpretability methods based on projecting representations into the vocabulary space and intervening on the LLM computation, can be viewed as special instances of this framework. Moreover, several of their shortcomings such as failure in inspecting early layers or lack of expressivity can be mitigated by a Patchscope. Beyond unifying prior inspection techniques, Patchscopes also opens up new possibilities such as using a more capable model to explain the representations of a smaller model, and unlocks new applications such as self-correction in multi-hop reasoning.

Patchscope: 言語モデルの隠れ表現を検査するための統一フレームワーク

Patchscope: A Unifying Framework for Inspecting Hidden Representations of Language Models

要旨

Support