Черты личности в крупных языковых моделях

Personality Traits in Large Language Models

July 1, 2023

Авторы: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić

cs.AI

Аннотация

Появление крупных языковых моделей (LLM) произвело революцию в обработке естественного языка, позволив генерировать связный и контекстуально релевантный текст. Поскольку LLM всё чаще используются в качестве основы для диалоговых агентов, синтезированная личность, заложенная в этих моделях благодаря их обучению на больших объёмах данных, созданных людьми, привлекает внимание. Поскольку личность является важным фактором, определяющим эффективность коммуникации, мы представляем комплексный метод для проведения валидированных психометрических тестов, а также количественной оценки, анализа и формирования личностных черт, проявляющихся в тексте, генерируемом широко используемыми LLM. Мы обнаружили, что: 1) личность, моделируемая в выходных данных некоторых LLM (при определённых конфигурациях запросов), является надёжной и валидной; 2) доказательства надёжности и валидности моделируемой LLM личности сильнее для более крупных и тонко настроенных на инструкции моделей; и 3) личность в выходных данных LLM может быть сформирована вдоль желаемых измерений для имитации конкретных личностных профилей. Мы также обсуждаем потенциальные приложения и этические последствия нашего подхода к измерению и формированию, особенно в контексте ответственного использования LLM.

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.