大規模言語モデルにおける人格特性
Personality Traits in Large Language Models
July 1, 2023
著者: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić
cs.AI
要旨
大規模言語モデル(LLM)の登場は、自然言語処理に革命をもたらし、一貫性があり文脈に即したテキストの生成を可能にしました。LLMが会話エージェントの基盤としてますます活用される中、これらのモデルに埋め込まれた合成パーソナリティが注目を集めています。これは、LLMが大量の人間が生成したデータで訓練されることによって形成されるものです。パーソナリティはコミュニケーションの効果を決定する重要な要素であるため、本論文では、広く使用されているLLMから生成されるテキストに表れるパーソナリティ特性を測定・分析・形成するための包括的な方法を提示します。具体的には、検証済みの心理測定テストを実施し、それらを定量化する手法を提案します。その結果、以下のことが明らかになりました:1)特定のプロンプト設定下では、一部のLLMの出力にシミュレートされたパーソナリティは信頼性と妥当性を有している、2)LLMがシミュレートするパーソナリティの信頼性と妥当性の証拠は、より大規模で指示ファインチューニングされたモデルにおいて強くなる、3)LLMの出力におけるパーソナリティは、特定のパーソナリティプロファイルを模倣するよう、所望の次元に沿って形成可能である。また、本測定・形成フレームワークの潜在的な応用と倫理的影響、特にLLMの責任ある使用に関する課題についても議論します。
English
The advent of large language models (LLMs) has revolutionized natural
language processing, enabling the generation of coherent and contextually
relevant text. As LLMs increasingly power conversational agents, the
synthesized personality embedded in these models by virtue of their training on
large amounts of human-generated data draws attention. Since personality is an
important factor determining the effectiveness of communication, we present a
comprehensive method for administering validated psychometric tests and
quantifying, analyzing, and shaping personality traits exhibited in text
generated from widely-used LLMs. We find that: 1) personality simulated in the
outputs of some LLMs (under specific prompting configurations) is reliable and
valid; 2) evidence of reliability and validity of LLM-simulated personality is
stronger for larger and instruction fine-tuned models; and 3) personality in
LLM outputs can be shaped along desired dimensions to mimic specific
personality profiles. We also discuss potential applications and ethical
implications of our measurement and shaping framework, especially regarding
responsible use of LLMs.