大規模言語モデルの認知的道徳発達を定義問題テストを通じて探る
Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test
September 23, 2023
著者: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
cs.AI
要旨
大規模言語モデルの発展は、研究者の間でその内在的な推論能力と問題解決能力を理解することに対する広範な関心を呼び起こしました。これらの能力を解明するための研究が多く行われているにもかかわらず、これらのモデルの道徳的発達と判断に関する理解には依然として大きな隔たりが存在します。現在のアプローチでは、これらのモデルの倫理的推論能力を分類タスクとして評価する際に、過度の単純化により多くの不正確さが生じています。本研究では、人間の心理学とAIという二つの異なる分野を結びつけることで心理学的な接点を構築しました。私たちは、心理測定評価ツールである「Defining Issues Test」を活用し、道徳的一貫性とコールバーグの道徳的発達段階に基づいてモデルの倫理的推論能力を評価する効果的なフレームワークを提案しました。
English
The development of large language models has instilled widespread interest
among the researchers to understand their inherent reasoning and
problem-solving capabilities. Despite good amount of research going on to
elucidate these capabilities, there is a still an appreciable gap in
understanding moral development and judgments of these models. The current
approaches of evaluating the ethical reasoning abilities of these models as a
classification task pose numerous inaccuracies because of over-simplification.
In this study, we built a psychological connection by bridging two disparate
fields-human psychology and AI. We proposed an effective evaluation framework
which can help to delineate the model's ethical reasoning ability in terms of
moral consistency and Kohlberg's moral development stages with the help of
Psychometric Assessment Tool-Defining Issues Test.