Explorando o Desenvolvimento Moral Cognitivo de Modelos de Linguagem de Grande Escala através do Teste de Definição de Questões

Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test

September 23, 2023

Autores: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury

cs.AI

Resumo

O desenvolvimento de grandes modelos de linguagem despertou um interesse generalizado entre os pesquisadores para compreender suas capacidades inerentes de raciocínio e resolução de problemas. Apesar da quantidade considerável de pesquisas em andamento para elucidar essas capacidades, ainda existe uma lacuna significativa na compreensão do desenvolvimento moral e dos julgamentos desses modelos. As abordagens atuais de avaliação das habilidades de raciocínio ético desses modelos como uma tarefa de classificação apresentam diversas imprecisões devido à excessiva simplificação. Neste estudo, estabelecemos uma conexão psicológica ao unir dois campos distintos - a psicologia humana e a IA. Propusemos um framework de avaliação eficaz que pode ajudar a delinear a capacidade de raciocínio ético do modelo em termos de consistência moral e estágios de desenvolvimento moral de Kohlberg, com o auxílio da Ferramenta de Avaliação Psicométrica - Teste de Definição de Questões.

English

The development of large language models has instilled widespread interest among the researchers to understand their inherent reasoning and problem-solving capabilities. Despite good amount of research going on to elucidate these capabilities, there is a still an appreciable gap in understanding moral development and judgments of these models. The current approaches of evaluating the ethical reasoning abilities of these models as a classification task pose numerous inaccuracies because of over-simplification. In this study, we built a psychological connection by bridging two disparate fields-human psychology and AI. We proposed an effective evaluation framework which can help to delineate the model's ethical reasoning ability in terms of moral consistency and Kohlberg's moral development stages with the help of Psychometric Assessment Tool-Defining Issues Test.