言語モデルを用いたブラックボックスなテキストモジュールの自然言語による説明
Explaining black box text modules in natural language with language models
May 17, 2023
著者: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao
cs.AI
要旨
大規模言語モデル（LLM）は、多岐にわたるタスクにおいて驚異的な予測性能を発揮しています。しかし、その急速な普及とますます不透明化が進む中で、解釈可能性に対するニーズが高まっています。本論文では、ブラックボックステキストモジュールに対して自然言語による説明を自動的に得ることが可能かどうかを検討します。「テキストモジュール」とは、テキストをスカラー連続値にマッピングする任意の関数を指し、LLM内のサブモジュールや脳領域のフィットモデルなどが該当します。「ブラックボックス」とは、モジュールの入力と出力のみにアクセス可能であることを意味します。
本論文では、Summarize and Score（SASC）という手法を提案します。SASCはテキストモジュールを入力として受け取り、そのモジュールの選択性に関する自然言語による説明と、その説明の信頼性を示すスコアを返します。SASCを3つの文脈で検証しました。まず、合成モジュールに対してSASCを評価し、多くの場合に真の説明を復元できることを確認しました。次に、事前学習済みのBERTモデル内のモジュールを説明するためにSASCを使用し、モデルの内部を検査することを可能にしました。最後に、SASCが個々のfMRIボクセルの言語刺激に対する応答を説明できることを示し、微細な脳マッピングへの応用の可能性を提示しました。SASCの使用と結果の再現に必要なすべてのコードはGithubで公開されています。
English
Large language models (LLMs) have demonstrated remarkable prediction
performance for a growing array of tasks. However, their rapid proliferation
and increasing opaqueness have created a growing need for interpretability.
Here, we ask whether we can automatically obtain natural language explanations
for black box text modules. A "text module" is any function that maps text to a
scalar continuous value, such as a submodule within an LLM or a fitted model of
a brain region. "Black box" indicates that we only have access to the module's
inputs/outputs.
We introduce Summarize and Score (SASC), a method that takes in a text module
and returns a natural language explanation of the module's selectivity along
with a score for how reliable the explanation is. We study SASC in 3 contexts.
First, we evaluate SASC on synthetic modules and find that it often recovers
ground truth explanations. Second, we use SASC to explain modules found within
a pre-trained BERT model, enabling inspection of the model's internals.
Finally, we show that SASC can generate explanations for the response of
individual fMRI voxels to language stimuli, with potential applications to
fine-grained brain mapping. All code for using SASC and reproducing results is
made available on Github.