Persoonlijkheidskenmerken in Grote Taalmodellen

Personality Traits in Large Language Models

July 1, 2023

Auteurs: Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić

cs.AI

Samenvatting

De opkomst van grote taalmodellen (LLM's) heeft een revolutie teweeggebracht in natuurlijke taalverwerking, waardoor het mogelijk is om samenhangende en contextueel relevante tekst te genereren. Naarmate LLM's steeds vaker worden ingezet voor conversatie-agents, trekt de gesynthetiseerde persoonlijkheid die in deze modellen is ingebed door hun training op grote hoeveelheden door mensen gegenereerde data de aandacht. Aangezien persoonlijkheid een belangrijke factor is die de effectiviteit van communicatie bepaalt, presenteren we een uitgebreide methode voor het afnemen van gevalideerde psychometrische tests en het kwantificeren, analyseren en vormgeven van persoonlijkheidskenmerken die worden getoond in tekst die wordt gegenereerd door veelgebruikte LLM's. We constateren dat: 1) de persoonlijkheid die wordt gesimuleerd in de uitvoer van sommige LLM's (onder specifieke promptconfiguraties) betrouwbaar en valide is; 2) het bewijs voor de betrouwbaarheid en validiteit van door LLM's gesimuleerde persoonlijkheid sterker is voor grotere en instructie-fijn afgestemde modellen; en 3) de persoonlijkheid in LLM-uitvoer kan worden gevormd langs gewenste dimensies om specifieke persoonlijkheidsprofielen na te bootsen. We bespreken ook potentiële toepassingen en ethische implicaties van ons meet- en vormgevingskader, met name met betrekking tot het verantwoord gebruik van LLM's.

English

The advent of large language models (LLMs) has revolutionized natural language processing, enabling the generation of coherent and contextually relevant text. As LLMs increasingly power conversational agents, the synthesized personality embedded in these models by virtue of their training on large amounts of human-generated data draws attention. Since personality is an important factor determining the effectiveness of communication, we present a comprehensive method for administering validated psychometric tests and quantifying, analyzing, and shaping personality traits exhibited in text generated from widely-used LLMs. We find that: 1) personality simulated in the outputs of some LLMs (under specific prompting configurations) is reliable and valid; 2) evidence of reliability and validity of LLM-simulated personality is stronger for larger and instruction fine-tuned models; and 3) personality in LLM outputs can be shaped along desired dimensions to mimic specific personality profiles. We also discuss potential applications and ethical implications of our measurement and shaping framework, especially regarding responsible use of LLMs.