Esplorazione dello Sviluppo Morale Cognitivo dei Modelli Linguistici di Grande Scala attraverso il Test delle Questioni Definenti

Exploring Large Language Models' Cognitive Moral Development through Defining Issues Test

September 23, 2023

Autori: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury

cs.AI

Abstract

Lo sviluppo di modelli linguistici di grandi dimensioni ha suscitato un diffuso interesse tra i ricercatori per comprenderne le capacità intrinseche di ragionamento e problem solving. Nonostante una buona quantità di ricerca sia in corso per chiarire queste capacità, esiste ancora un divario significativo nella comprensione dello sviluppo morale e dei giudizi di questi modelli. Gli approcci attuali per valutare le capacità di ragionamento etico di questi modelli come un compito di classificazione presentano numerose imprecisioni a causa di una eccessiva semplificazione. In questo studio, abbiamo costruito una connessione psicologica unendo due campi disparati: la psicologia umana e l'intelligenza artificiale. Abbiamo proposto un quadro di valutazione efficace che può aiutare a delineare la capacità di ragionamento etico del modello in termini di coerenza morale e delle fasi dello sviluppo morale di Kohlberg con l'aiuto dello strumento di valutazione psicometrica Defining Issues Test.

English

The development of large language models has instilled widespread interest among the researchers to understand their inherent reasoning and problem-solving capabilities. Despite good amount of research going on to elucidate these capabilities, there is a still an appreciable gap in understanding moral development and judgments of these models. The current approaches of evaluating the ethical reasoning abilities of these models as a classification task pose numerous inaccuracies because of over-simplification. In this study, we built a psychological connection by bridging two disparate fields-human psychology and AI. We proposed an effective evaluation framework which can help to delineate the model's ethical reasoning ability in terms of moral consistency and Kohlberg's moral development stages with the help of Psychometric Assessment Tool-Defining Issues Test.