Het verkennen van de cognitieve morele ontwikkeling van grote taalmodellen via de Defining Issues Test
Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test
September 23, 2023
Auteurs: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
cs.AI
Samenvatting
De ontwikkeling van grote taalmodellen heeft een brede interesse gewekt onder onderzoekers om hun inherente redeneer- en probleemoplossende vermogens te begrijpen. Ondanks de aanzienlijke hoeveelheid onderzoek die wordt gedaan om deze vermogens te verduidelijken, bestaat er nog steeds een aanzienlijke kloof in het begrip van de morele ontwikkeling en oordelen van deze modellen. De huidige benaderingen om de ethische redeneervaardigheden van deze modellen te evalueren als een classificatietaak leiden tot talrijke onnauwkeurigheden vanwege overmatige vereenvoudiging. In deze studie hebben we een psychologische verbinding gelegd door twee uiteenlopende velden te overbruggen: menselijke psychologie en AI. We hebben een effectief evaluatiekader voorgesteld dat kan helpen om het ethische redeneervermogen van het model te beschrijven in termen van morele consistentie en Kohlbergs fasen van morele ontwikkeling, met behulp van het psychometrische beoordelingsinstrument: de Defining Issues Test.
English
The development of large language models has instilled widespread interest
among the researchers to understand their inherent reasoning and
problem-solving capabilities. Despite good amount of research going on to
elucidate these capabilities, there is a still an appreciable gap in
understanding moral development and judgments of these models. The current
approaches of evaluating the ethical reasoning abilities of these models as a
classification task pose numerous inaccuracies because of over-simplification.
In this study, we built a psychological connection by bridging two disparate
fields-human psychology and AI. We proposed an effective evaluation framework
which can help to delineate the model's ethical reasoning ability in terms of
moral consistency and Kohlberg's moral development stages with the help of
Psychometric Assessment Tool-Defining Issues Test.