Persönlichkeitsmerkmale in großen Sprachmodellen

Personality Traits in Large Language Models

July 1, 2023

Autoren: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić

cs.AI

Zusammenfassung

Die Einführung großer Sprachmodelle (Large Language Models, LLMs) hat die natürliche Sprachverarbeitung revolutioniert und ermöglicht die Erzeugung von kohärentem und kontextuell relevantem Text. Da LLMs zunehmend als Grundlage für Konversationsagenten dienen, rückt die synthetisierte Persönlichkeit, die diesen Modellen durch das Training auf großen Mengen menschlich generierter Daten eingebettet ist, in den Fokus. Da Persönlichkeit ein wichtiger Faktor für die Effektivität von Kommunikation ist, präsentieren wir eine umfassende Methode zur Durchführung validierter psychometrischer Tests sowie zur Quantifizierung, Analyse und Gestaltung von Persönlichkeitsmerkmalen, die in Texten weit verbreiteter LLMs zum Ausdruck kommen. Wir stellen fest, dass: 1) die in den Ausgaben einiger LLMs (unter spezifischen Prompt-Konfigurationen) simulierte Persönlichkeit zuverlässig und valide ist; 2) die Evidenz für die Zuverlässigkeit und Validität der simulierten Persönlichkeit bei größeren und instruktionsfeinabgestimmten Modellen stärker ist; und 3) die Persönlichkeit in den Ausgaben von LLMs entlang gewünschter Dimensionen gestaltet werden kann, um spezifische Persönlichkeitsprofile nachzuahmen. Wir diskutieren zudem potenzielle Anwendungen und ethische Implikationen unseres Mess- und Gestaltungsrahmens, insbesondere im Hinblick auf den verantwortungsvollen Einsatz von LLMs.

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.