대형 언어 모델에서의 성격 특성

초록

대규모 언어 모델(LLM)의 등장은 자연어 처리 분야에 혁신을 가져왔으며, 일관성 있고 문맥에 맞는 텍스트 생성을 가능하게 하였습니다. LLM이 대화형 에이전트를 점점 더 주도함에 따라, 이러한 모델들이 방대한 양의 인간 생성 데이터를 학습함으로써 내재된 합성된 성격이 주목받고 있습니다. 성격은 의사소통의 효과를 결정하는 중요한 요소이기 때문에, 우리는 널리 사용되는 LLM에서 생성된 텍스트에 나타나는 성격 특성을 검증된 심리 측정 테스트를 통해 관리하고, 정량화, 분석, 형성하는 포괄적인 방법을 제시합니다. 우리는 다음과 같은 사실을 발견했습니다: 1) 특정 프롬프트 설정 하에서 일부 LLM의 출력에서 시뮬레이션된 성격은 신뢰할 수 있고 타당하며; 2) LLM 시뮬레이션된 성격의 신뢰성과 타당성에 대한 증거는 더 크고 지시 미세 조정된 모델에서 더 강력하며; 3) LLM 출력의 성격은 특정 성격 프로파일을 모방하기 위해 원하는 차원을 따라 형성될 수 있습니다. 또한, 우리는 측정 및 형성 프레임워크의 잠재적 응용과 윤리적 함의, 특히 LLM의 책임 있는 사용에 대해 논의합니다.

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.

대형 언어 모델에서의 성격 특성

Personality Traits in Large Language Models

초록

Support