CLASH: Het evalueren van taalmodellen op het beoordelen van hoogrisicodilemma's vanuit meerdere perspectieven

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

April 15, 2025

Auteurs: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

cs.AI

Samenvatting

Het navigeren door hoogrisicodilemma's met tegenstrijdige waarden is uitdagend, zelfs voor mensen, laat staan voor AI. Eerdere onderzoeken naar het redeneervermogen van grote taalmmodellen (LLMs) in dergelijke situaties waren echter beperkt tot alledaagse scenario's. Om deze kloof te dichten, introduceert dit werk eerst CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), een zorgvuldig samengestelde dataset bestaande uit 345 hoogimpactdilemma's en 3.795 individuele perspectieven van diverse waarden. In het bijzonder is CLASH ontworpen om de studie van kritieke aspecten van waardegebaseerde besluitvormingsprocessen te ondersteunen die in eerdere onderzoeken ontbraken, waaronder het begrijpen van besluitambivalentie en psychologisch ongemak, evenals het vastleggen van temporele verschuivingen in waarden vanuit de perspectieven van personages. Door 10 open en gesloten frontiermodellen te benchmarken, onthullen we verschillende belangrijke bevindingen. (1) Zelfs de sterkste modellen, zoals GPT-4o en Claude-Sonnet, behalen minder dan 50% nauwkeurigheid in het identificeren van situaties waarin het besluit ambivalent zou moeten zijn, terwijl ze aanzienlijk beter presteren in duidelijke scenario's. (2) Hoewel LLMs redelijk goed psychologisch ongemak kunnen voorspellen zoals gemarkeerd door mensen, begrijpen ze perspectieven met waardeveranderingen onvoldoende, wat aangeeft dat LLMs complexe waarden moeten kunnen redeneren. (3) Onze experimenten tonen ook een significante correlatie tussen de waardepreferenties van LLMs en hun stuurbaarheid naar een bepaalde waarde. (4) Ten slotte vertonen LLMs een grotere stuurbaarheid wanneer ze betrokken zijn bij waarderedenering vanuit een derdepersoonsperspectief, vergeleken met een eerste-persoonsopzet, hoewel bepaalde waardeparen uniek profiteren van de eerste-persoonsframing.

English

Navigating high-stakes dilemmas involving conflicting values is challenging even for humans, let alone for AI. Yet prior work in evaluating the reasoning capabilities of large language models (LLMs) in such situations has been limited to everyday scenarios. To close this gap, this work first introduces CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), a meticulously curated dataset consisting of 345 high-impact dilemmas along with 3,795 individual perspectives of diverse values. In particular, we design CLASH in a way to support the study of critical aspects of value-based decision-making processes which are missing from prior work, including understanding decision ambivalence and psychological discomfort as well as capturing the temporal shifts of values in characters' perspectives. By benchmarking 10 open and closed frontier models, we uncover several key findings. (1) Even the strongest models, such as GPT-4o and Claude-Sonnet, achieve less than 50% accuracy in identifying situations where the decision should be ambivalent, while they perform significantly better in clear-cut scenarios. (2) While LLMs reasonably predict psychological discomfort as marked by human, they inadequately comprehend perspectives involving value shifts, indicating a need for LLMs to reason over complex values. (3) Our experiments also reveal a significant correlation between LLMs' value preferences and their steerability towards a given value. (4) Finally, LLMs exhibit greater steerability when engaged in value reasoning from a third-party perspective, compared to a first-person setup, though certain value pairs benefit uniquely from the first-person framing.