대형 언어 모델의 인지적 도덕성 발달 탐구: 정의적 문제 검사를 중심으로
Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test
September 23, 2023
저자: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
cs.AI
초록
대규모 언어 모델의 발전은 연구자들 사이에서 이러한 모델의 내재적 추론 및 문제 해결 능력을 이해하려는 폭넓은 관심을 불러일으켰다. 이러한 능력을 밝히기 위한 상당한 연구가 진행되고 있음에도 불구하고, 이러한 모델의 도덕적 발달과 판단에 대한 이해에는 여전히 상당한 격차가 존재한다. 현재 이러한 모델의 윤리적 추론 능력을 평가하는 접근 방식은 분류 작업으로 간주되며, 지나친 단순화로 인해 수많은 부정확성을 야기한다. 본 연구에서는 인간 심리학과 인공지능이라는 두 개의 상이한 분야를 연결함으로써 심리학적 연관성을 구축하였다. 우리는 심리측정 평가 도구인 'Defining Issues Test'를 활용하여 모델의 도덕적 일관성과 콜버그의 도덕적 발달 단계를 기준으로 윤리적 추론 능력을 평가할 수 있는 효과적인 평가 프레임워크를 제안하였다.
English
The development of large language models has instilled widespread interest
among the researchers to understand their inherent reasoning and
problem-solving capabilities. Despite good amount of research going on to
elucidate these capabilities, there is a still an appreciable gap in
understanding moral development and judgments of these models. The current
approaches of evaluating the ethical reasoning abilities of these models as a
classification task pose numerous inaccuracies because of over-simplification.
In this study, we built a psychological connection by bridging two disparate
fields-human psychology and AI. We proposed an effective evaluation framework
which can help to delineate the model's ethical reasoning ability in terms of
moral consistency and Kohlberg's moral development stages with the help of
Psychometric Assessment Tool-Defining Issues Test.