大規模言語モデルにおける人格特性

要旨

大規模言語モデル（LLM）の登場は自然言語処理に革命をもたらし、首尾一貫した文脈的に適切なテキスト生成を可能にした。会話エージェントの基盤としてLLMが普及するにつれ、人間が生成した大量のデータで訓練されることでこれらのモデルに内在する合成パーソナリティが注目を集めている。パーソナリティはコミュニケーションの効果を決定する重要な要素であるため、本論文では検証済みの心理測定テストを実施し、広く利用されているLLMから生成されるテキストに表れるパーソナリティ特性を定量化・分析・形成する包括的手法を提案する。以下の知見を得た：1）特定のプロンプト設定下での一部LLMの出力においてシミュレートされるパーソナリティは信頼性と妥当性を有する、2）LLMシミュレーションパーソナリティの信頼性・妥当性の証拠は、大規模で指示チューニングされたモデルにおいてより顕著である、3）LLM出力のパーソナリティは所望の次元に沿って形成し、特定のパーソナリティプロファイルを模倣可能である。さらに、測定・形成フレームワークの潜在的な応用可能性と倫理的影響、特にLLMの責任ある利用に関する課題についても考察する。

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.

大規模言語モデルにおける人格特性

Personality Traits in Large Language Models

要旨

Support