Traits de personnalité dans les grands modèles de langage

Personality Traits in Large Language Models

July 1, 2023

Auteurs: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić

cs.AI

Résumé

L'avènement des grands modèles de langage (LLMs) a révolutionné le traitement du langage naturel, permettant la génération de textes cohérents et pertinents sur le plan contextuel. Alors que les LLMs alimentent de plus en plus les agents conversationnels, la personnalité synthétisée intégrée dans ces modèles en raison de leur entraînement sur de vastes quantités de données générées par des humains attire l'attention. Étant donné que la personnalité est un facteur important déterminant l'efficacité de la communication, nous présentons une méthode complète pour administrer des tests psychométriques validés et quantifier, analyser et façonner les traits de personnalité manifestés dans les textes générés par des LLMs largement utilisés. Nous constatons que : 1) la personnalité simulée dans les sorties de certains LLMs (sous des configurations d'invite spécifiques) est fiable et valide ; 2) les preuves de fiabilité et de validité de la personnalité simulée par les LLMs sont plus solides pour les modèles plus volumineux et affinés par instruction ; et 3) la personnalité dans les sorties des LLMs peut être façonnée selon des dimensions souhaitées pour imiter des profils de personnalité spécifiques. Nous discutons également des applications potentielles et des implications éthiques de notre cadre de mesure et de façonnage, en particulier en ce qui concerne l'utilisation responsable des LLMs.

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.