Mesurer les valeurs humaines et des IA basées sur la psychométrie générative avec de grands modèles de langage.

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

Auteurs: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

Résumé

Les valeurs humaines et leur mesure font l'objet d'une enquête interdisciplinaire de longue date. Les récentes avancées en intelligence artificielle ont suscité un intérêt renouvelé pour ce domaine, les grands modèles de langage (GML) émergeant à la fois comme des outils et des sujets de mesure de valeur. Ce travail présente la Psychométrie Générative pour les Valeurs (PGV), un paradigme de mesure de valeur basé sur les GML et les données, théoriquement ancré dans les perceptions sélectives révélées par le texte. Nous commençons par affiner un GML pour une mesure précise des valeurs au niveau de la perception et vérifier la capacité des GML à analyser les textes en perceptions, formant le cœur du processus de la PGV. En appliquant la PGV à des blogs rédigés par des humains, nous démontrons sa stabilité, sa validité et sa supériorité par rapport aux outils psychologiques précédents. Ensuite, en étendant la PGV à la mesure des valeurs des GML, nous faisons progresser l'état actuel de l'art avec 1) une méthodologie psychométrique qui mesure les valeurs des GML en fonction de leurs sorties évolutives et libres, permettant une mesure spécifique au contexte ; 2) une analyse comparative des paradigmes de mesure, indiquant les biais de réponse des méthodes antérieures ; et 3) une tentative de relier les valeurs des GML et leur sécurité, révélant le pouvoir prédictif des différents systèmes de valeurs et les impacts des différentes valeurs sur la sécurité des GML. Grâce à des efforts interdisciplinaires, nous visons à exploiter l'IA pour la psychométrie de la prochaine génération et la psychométrie pour une IA alignée sur les valeurs.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.