Die Messung menschlicher und KI-Werte basierend auf generativer Psychometrie mit großen Sprachmodellen.

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

Autoren: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

Zusammenfassung

Menschliche Werte und ihre Messung sind ein langjähriges interdisziplinäres Forschungsgebiet. Die jüngsten Fortschritte in der KI haben ein erneutes Interesse an diesem Bereich geweckt, wobei große Sprachmodelle (LLMs) sowohl als Werkzeuge als auch als Gegenstände der Wertemessung auftauchen. Diese Arbeit stellt Generative Psychometrie für Werte (GPV) vor, ein auf LLM basierendes, datengesteuertes Wertemessungsparadigma, das theoretisch auf textoffenbarten selektiven Wahrnehmungen basiert. Wir beginnen mit dem Feinabstimmen eines LLM für eine präzise Wahrnehmungsebene der Wertemessung und überprüfen die Fähigkeit von LLMs, Texte in Wahrnehmungen zu analysieren, was den Kern der GPV-Pipeline bildet. Durch die Anwendung von GPV auf von Menschen verfasste Blogs zeigen wir dessen Stabilität, Gültigkeit und Überlegenheit gegenüber früheren psychologischen Werkzeugen. Anschließend erweitern wir GPV auf die LLM-Wertemessung und verbessern den aktuellen Stand der Technik durch 1) eine psychometrische Methodik, die LLM-Werte anhand ihrer skalierbaren und freiformatigen Ausgaben misst und eine kontextspezifische Messung ermöglicht; 2) eine vergleichende Analyse von Messparadigmen, die aufzeigt, welche Antwortverzerrungen bei früheren Methoden auftreten; und 3) einen Versuch, LLM-Werte und ihre Sicherheit zu verknüpfen, wodurch die Vorhersagekraft unterschiedlicher Wertesysteme und die Auswirkungen verschiedener Werte auf die LLM-Sicherheit aufgezeigt werden. Durch interdisziplinäre Bemühungen streben wir danach, KI für psychometrische Verfahren der nächsten Generation zu nutzen und psychometrische Verfahren für an Werten ausgerichtete KI einzusetzen.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.