Het meten van menselijke en AI-waarden op basis van generatieve psychometrie met Grote Taalmodellen

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

Auteurs: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

Samenvatting

Menselijke waarden en hun meting zijn een langdurig interdisciplinair onderzoek. Recente ontwikkelingen in AI hebben hernieuwde interesse in dit gebied aangewakkerd, waarbij grote taalmodellen (LLM's) naar voren komen als zowel tools als onderwerpen van waarde meting. Dit werk introduceert Generatieve Psychometrie voor Waarden (GPV), een op LLM's gebaseerd, op data gedreven paradigma voor waarde meting, theoretisch gefundeerd in tekst-onthulde selectieve percepties. We beginnen met het verfijnen van een LLM voor nauwkeurige perceptie-niveau waarde meting en het verifiëren van de capaciteit van LLM's om teksten in percepties te ontleden, wat de kern vormt van de GPV-pijplijn. Door GPV toe te passen op door mensen geschreven blogs, tonen we de stabiliteit, geldigheid en superioriteit ervan ten opzichte van eerdere psychologische tools aan. Vervolgens, door GPV uit te breiden naar LLM waarde meting, verbeteren we de huidige stand van zaken met 1) een psychometrische methodologie die LLM waarden meet op basis van hun schaalbare en vrije vorm uitvoer, waardoor contextspecifieke meting mogelijk is; 2) een vergelijkende analyse van meetparadigma's, waarbij de responsbias van eerdere methoden wordt aangegeven; en 3) een poging om LLM waarden en hun veiligheid te verbinden, waarbij de voorspellende kracht van verschillende waarde systemen en de impact van verschillende waarden op LLM veiligheid wordt onthuld. Via interdisciplinaire inspanningen streven we ernaar om AI te benutten voor psychometrie van de volgende generatie en psychometrie voor AI die in lijn is met waarden.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.