Exploración del Desarrollo Moral Cognitivo en Modelos de Lenguaje a Gran Escala mediante la Prueba de Cuestiones Definitorias

Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test

September 23, 2023

Autores: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury

cs.AI

Resumen

El desarrollo de modelos de lenguaje de gran escala ha generado un interés generalizado entre los investigadores por comprender sus capacidades inherentes de razonamiento y resolución de problemas. A pesar de la considerable cantidad de investigación en curso para dilucidar estas capacidades, aún existe una brecha apreciable en la comprensión del desarrollo moral y los juicios de estos modelos. Los enfoques actuales para evaluar las habilidades de razonamiento ético de estos modelos como una tarea de clasificación presentan numerosas imprecisiones debido a una simplificación excesiva. En este estudio, establecimos una conexión psicológica al unir dos campos dispares: la psicología humana y la inteligencia artificial. Propusimos un marco de evaluación efectivo que puede ayudar a delinear la capacidad de razonamiento ético del modelo en términos de consistencia moral y las etapas de desarrollo moral de Kohlberg con la ayuda de la herramienta de evaluación psicométrica: el Test de Definición de Problemas.

English

The development of large language models has instilled widespread interest among the researchers to understand their inherent reasoning and problem-solving capabilities. Despite good amount of research going on to elucidate these capabilities, there is a still an appreciable gap in understanding moral development and judgments of these models. The current approaches of evaluating the ethical reasoning abilities of these models as a classification task pose numerous inaccuracies because of over-simplification. In this study, we built a psychological connection by bridging two disparate fields-human psychology and AI. We proposed an effective evaluation framework which can help to delineate the model's ethical reasoning ability in terms of moral consistency and Kohlberg's moral development stages with the help of Psychometric Assessment Tool-Defining Issues Test.