Измерение человеческих и искусственных интеллектуальных ценностей на основе генеративной психометрики с использованием крупных языковых моделей.

Measuring Human and AI Values based on Generative Psychometrics with Large Language Models

September 18, 2024

Авторы: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song

cs.AI

Аннотация

Человеческие ценности и их измерение являются давним междисциплинарным исследованием. Недавние достижения в области искусственного интеллекта вызвали новый интерес к этой теме, причем большие языковые модели (LLM) выступают как инструменты, так и объекты измерения ценностей. В данной работе представлена Генеративная Психометрика для Ценностей (GPV), парадигма измерения ценностей на основе LLM, теоретически обоснованная в текстово-выявленных селективных восприятиях. Мы начинаем с настройки LLM для точного измерения ценностей на уровне восприятия и проверки способности LLM разбирать тексты на восприятия, что является основой конвейера GPV. Применяя GPV к блогам, написанным людьми, мы демонстрируем его стабильность, достоверность и превосходство над предыдущими психологическими инструментами. Затем, расширяя GPV на измерение ценностей с использованием LLM, мы продвигаем современное искусство с помощью 1) психометрической методологии, измеряющей ценности LLM на основе их масштабируемых и свободноформатных результатов, обеспечивая контекстно-специфическое измерение; 2) сравнительного анализа парадигм измерения, указывающего на ответные искажения предыдущих методов; и 3) попытки связать ценности LLM и их безопасность, раскрывая предсказательную силу различных систем ценностей и влияние различных ценностей на безопасность LLM. Через междисциплинарные усилия мы стремимся использовать искусственный интеллект для психометрики следующего поколения и психометрику для выравнивания ценностей искусственного интеллекта.

English

Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.