Исследование когнитивного морального развития больших языковых моделей с помощью теста определения проблем
Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test
September 23, 2023
Авторы: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
cs.AI
Аннотация
Разработка крупных языковых моделей вызвала широкий интерес среди исследователей к пониманию их внутренних способностей к рассуждению и решению задач. Несмотря на значительное количество исследований, направленных на изучение этих способностей, по-прежнему существует заметный пробел в понимании морального развития и суждений этих моделей. Современные подходы к оценке этических способностей рассуждения моделей, рассматриваемые как задача классификации, содержат множество неточностей из-за чрезмерного упрощения. В данном исследовании мы установили психологическую связь, объединив две различные области — психологию человека и искусственный интеллект. Мы предложили эффективную оценочную структуру, которая может помочь определить способность модели к этическому рассуждению с точки зрения моральной согласованности и стадий морального развития Кольберга с использованием психометрического инструмента оценки — теста на определение ключевых вопросов (Defining Issues Test).
English
The development of large language models has instilled widespread interest
among the researchers to understand their inherent reasoning and
problem-solving capabilities. Despite good amount of research going on to
elucidate these capabilities, there is a still an appreciable gap in
understanding moral development and judgments of these models. The current
approaches of evaluating the ethical reasoning abilities of these models as a
classification task pose numerous inaccuracies because of over-simplification.
In this study, we built a psychological connection by bridging two disparate
fields-human psychology and AI. We proposed an effective evaluation framework
which can help to delineate the model's ethical reasoning ability in terms of
moral consistency and Kohlberg's moral development stages with the help of
Psychometric Assessment Tool-Defining Issues Test.