Exploration du développement moral cognitif des grands modèles de langage à travers le test des dilemmes moraux

Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test

September 23, 2023

Auteurs: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury

cs.AI

Résumé

Le développement des grands modèles de langage a suscité un intérêt généralisé parmi les chercheurs pour comprendre leurs capacités intrinsèques de raisonnement et de résolution de problèmes. Malgré un nombre considérable de recherches visant à élucider ces capacités, il existe encore un écart notable dans la compréhension du développement moral et des jugements de ces modèles. Les approches actuelles d'évaluation des capacités de raisonnement éthique de ces modèles, considérées comme une tâche de classification, présentent de nombreuses inexactitudes en raison d'une simplification excessive. Dans cette étude, nous avons établi une connexion psychologique en rapprochant deux domaines distincts - la psychologie humaine et l'intelligence artificielle. Nous avons proposé un cadre d'évaluation efficace qui peut aider à délimiter la capacité de raisonnement éthique du modèle en termes de cohérence morale et des stades de développement moral de Kohlberg, à l'aide de l'outil d'évaluation psychométrique - le Defining Issues Test.

English

The development of large language models has instilled widespread interest among the researchers to understand their inherent reasoning and problem-solving capabilities. Despite good amount of research going on to elucidate these capabilities, there is a still an appreciable gap in understanding moral development and judgments of these models. The current approaches of evaluating the ethical reasoning abilities of these models as a classification task pose numerous inaccuracies because of over-simplification. In this study, we built a psychological connection by bridging two disparate fields-human psychology and AI. We proposed an effective evaluation framework which can help to delineate the model's ethical reasoning ability in terms of moral consistency and Kohlberg's moral development stages with the help of Psychometric Assessment Tool-Defining Issues Test.