Medición de Valores Humanos y de IA basada en Psicometría Generativa con Modelos de Lenguaje Grandes

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

Autores: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

Resumen

Los valores humanos y su medición son objeto de una larga investigación interdisciplinaria. Los avances recientes en IA han despertado un renovado interés en esta área, con los grandes modelos de lenguaje (LLMs) surgiendo tanto como herramientas como sujetos de medición de valores. Este trabajo presenta la Psicometría Generativa para Valores (GPV), un paradigma de medición de valores basado en LLM, impulsado por datos y fundamentado teóricamente en percepciones selectivas reveladas en texto. Comenzamos afinando un LLM para una medición precisa de valores a nivel de percepción y verificando la capacidad de los LLM para analizar textos en percepciones, formando el núcleo del proceso de GPV. Al aplicar GPV a blogs escritos por humanos, demostramos su estabilidad, validez y superioridad sobre herramientas psicológicas previas. Luego, al extender GPV a la medición de valores de LLM, avanzamos en el arte actual con 1) una metodología psicométrica que mide los valores de LLM en función de sus salidas escalables y de formato libre, permitiendo una medición específica del contexto; 2) un análisis comparativo de paradigmas de medición, indicando sesgos de respuesta de métodos anteriores; y 3) un intento de vincular los valores de LLM y su seguridad, revelando el poder predictivo de diferentes sistemas de valores y los impactos de varios valores en la seguridad de LLM. A través de esfuerzos interdisciplinarios, buscamos aprovechar la IA para la psicometría de próxima generación y la psicometría para una IA alineada con valores.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.