言語モデルにおける心的状態表現のベンチマーキング

Benchmarking Mental State Representations in Language Models

June 25, 2024

著者: Matteo Bortoletto, Constantin Ruhdorfer, Lei Shi, Andreas Bulling

cs.AI

要旨

言語モデル（LM）の生成性能を評価する研究は、心の理論（Theory of Mind）推論を必要とするタスクにおいて数多く行われてきたが、モデル内部における心的状態の表現に関する研究は限られている。最近の研究では、プロービングを用いて、LMが自己や他者の信念を表現できることを示している。しかし、これらの主張は限定的な評価に基づいており、モデルの設計やトレーニングの選択が心的状態の表現にどのような影響を与えるかを評価することが困難である。本論文では、モデルサイズ、ファインチューニング手法、プロンプト設計が異なる様々なタイプのLMを用いた広範なベンチマークを報告し、心的状態の表現の頑健性とプローブ内の記憶化問題を調査する。その結果、モデル内部における他者の信念の表現の質は、モデルサイズの増加と、より重要な点としてファインチューニングによって向上することが示された。また、心の理論タスクにおけるプロービング性能にプロンプトのバリエーションがどのように影響するかを初めて調査し、モデルの表現がプロンプトのバリエーションに敏感であることを示す。さらに、心の理論タスクにおける活性化編集実験を補完し、プローブをトレーニングすることなく活性化を誘導することで、モデルの推論性能を向上させることが可能であることを示す。

English

While numerous works have assessed the generative performance of language models (LMs) on tasks requiring Theory of Mind reasoning, research into the models' internal representation of mental states remains limited. Recent work has used probing to demonstrate that LMs can represent beliefs of themselves and others. However, these claims are accompanied by limited evaluation, making it difficult to assess how mental state representations are affected by model design and training choices. We report an extensive benchmark with various LM types with different model sizes, fine-tuning approaches, and prompt designs to study the robustness of mental state representations and memorisation issues within the probes. Our results show that the quality of models' internal representations of the beliefs of others increases with model size and, more crucially, with fine-tuning. We are the first to study how prompt variations impact probing performance on theory of mind tasks. We demonstrate that models' representations are sensitive to prompt variations, even when such variations should be beneficial. Finally, we complement previous activation editing experiments on Theory of Mind tasks and show that it is possible to improve models' reasoning performance by steering their activations without the need to train any probe.