Traços de Personalidade em Modelos de Linguagem de Grande Escala
Personality Traits in Large Language Models
July 1, 2023
Autores: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić
cs.AI
Resumo
O advento dos grandes modelos de linguagem (LLMs, na sigla em inglês) revolucionou o processamento de linguagem natural, permitindo a geração de textos coerentes e contextualmente relevantes. À medida que os LLMs passam a impulsionar agentes conversacionais, a personalidade sintetizada incorporada nesses modelos, em virtude de seu treinamento com grandes quantidades de dados gerados por humanos, chama a atenção. Como a personalidade é um fator importante na determinação da eficácia da comunicação, apresentamos um método abrangente para administrar testes psicométricos validados e quantificar, analisar e moldar traços de personalidade exibidos em textos gerados por LLMs amplamente utilizados. Descobrimos que: 1) a personalidade simulada nas saídas de alguns LLMs (sob configurações específicas de prompts) é confiável e válida; 2) as evidências de confiabilidade e validade da personalidade simulada por LLMs são mais fortes em modelos maiores e ajustados por instrução; e 3) a personalidade nas saídas dos LLMs pode ser moldada ao longo de dimensões desejadas para imitar perfis de personalidade específicos. Também discutimos possíveis aplicações e implicações éticas de nossa estrutura de medição e moldagem, especialmente no que diz respeito ao uso responsável dos LLMs.
English
The advent of large language models (LLMs) has revolutionized natural
language processing, enabling the generation of coherent and contextually
relevant text. As LLMs increasingly power conversational agents, the
synthesized personality embedded in these models by virtue of their training on
large amounts of human-generated data draws attention. Since personality is an
important factor determining the effectiveness of communication, we present a
comprehensive method for administering validated psychometric tests and
quantifying, analyzing, and shaping personality traits exhibited in text
generated from widely-used LLMs. We find that: 1) personality simulated in the
outputs of some LLMs (under specific prompting configurations) is reliable and
valid; 2) evidence of reliability and validity of LLM-simulated personality is
stronger for larger and instruction fine-tuned models; and 3) personality in
LLM outputs can be shaped along desired dimensions to mimic specific
personality profiles. We also discuss potential applications and ethical
implications of our measurement and shaping framework, especially regarding
responsible use of LLMs.