Erforschung der kognitiven moralischen Entwicklung großer Sprachmodelle mithilfe des Defining Issues Tests
Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test
September 23, 2023
Autoren: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
cs.AI
Zusammenfassung
Die Entwicklung großer Sprachmodelle hat ein weit verbreitetes Interesse unter Forschern geweckt, deren inhärente Denk- und Problemlösungsfähigkeiten zu verstehen. Trotz einer beträchtlichen Menge an Forschung, die darauf abzielt, diese Fähigkeiten zu erläutern, besteht immer noch eine merkliche Lücke im Verständnis der moralischen Entwicklung und Urteilsfähigkeit dieser Modelle. Die aktuellen Ansätze zur Bewertung der ethischen Denkfähigkeiten dieser Modelle als Klassifikationsaufgabe bergen zahlreiche Ungenauigkeiten aufgrund von Übervereinfachung. In dieser Studie haben wir eine psychologische Verbindung hergestellt, indem wir zwei disparate Felder – die menschliche Psychologie und die KI – miteinander verknüpft haben. Wir haben einen effektiven Bewertungsrahmen vorgeschlagen, der dazu beitragen kann, die ethische Denkfähigkeit des Modells in Bezug auf moralische Konsistenz und Kohlbergs Stufen der moralischen Entwicklung mit Hilfe des psychometrischen Bewertungstools „Defining Issues Test“ zu beschreiben.
English
The development of large language models has instilled widespread interest
among the researchers to understand their inherent reasoning and
problem-solving capabilities. Despite good amount of research going on to
elucidate these capabilities, there is a still an appreciable gap in
understanding moral development and judgments of these models. The current
approaches of evaluating the ethical reasoning abilities of these models as a
classification task pose numerous inaccuracies because of over-simplification.
In this study, we built a psychological connection by bridging two disparate
fields-human psychology and AI. We proposed an effective evaluation framework
which can help to delineate the model's ethical reasoning ability in terms of
moral consistency and Kohlberg's moral development stages with the help of
Psychometric Assessment Tool-Defining Issues Test.