CLASH: Avaliando Modelos de Linguagem na Avaliação de Dilemas de Alto Risco a partir de Múltiplas Perspectivas

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

April 15, 2025

Autores: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

cs.AI

Resumo

Navegar dilemas de alto risco envolvendo valores conflitantes é desafiador mesmo para humanos, quanto mais para a IA. No entanto, trabalhos anteriores na avaliação das capacidades de raciocínio de modelos de linguagem de grande escala (LLMs) em tais situações têm se limitado a cenários cotidianos. Para preencher essa lacuna, este trabalho primeiro introduz o CLASH (Avaliações de LLMs baseadas em Perspectivas de Personagens em Situações de Alto Risco), um conjunto de dados meticulosamente curado composto por 345 dilemas de alto impacto, juntamente com 3.795 perspectivas individuais de diversos valores. Em particular, projetamos o CLASH de forma a apoiar o estudo de aspectos críticos dos processos de tomada de decisão baseada em valores que estão ausentes em trabalhos anteriores, incluindo a compreensão da ambivalência decisória e do desconforto psicológico, bem como a captura de mudanças temporais nos valores nas perspectivas dos personagens. Ao avaliar 10 modelos de fronteira abertos e fechados, descobrimos vários achados importantes. (1) Mesmo os modelos mais fortes, como GPT-4o e Claude-Sonnet, atingem menos de 50% de precisão na identificação de situações em que a decisão deveria ser ambivalente, enquanto desempenham significativamente melhor em cenários claros. (2) Embora os LLMs prevejam razoavelmente o desconforto psicológico conforme marcado por humanos, eles compreendem de forma inadequada perspectivas que envolvem mudanças de valores, indicando a necessidade de os LLMs raciocinarem sobre valores complexos. (3) Nossos experimentos também revelam uma correlação significativa entre as preferências de valores dos LLMs e sua capacidade de serem direcionados para um determinado valor. (4) Por fim, os LLMs exibem maior capacidade de direcionamento quando engajados no raciocínio de valores a partir de uma perspectiva de terceiros, em comparação com uma configuração em primeira pessoa, embora certos pares de valores se beneficiem exclusivamente da estruturação em primeira pessoa.

English

Navigating high-stakes dilemmas involving conflicting values is challenging even for humans, let alone for AI. Yet prior work in evaluating the reasoning capabilities of large language models (LLMs) in such situations has been limited to everyday scenarios. To close this gap, this work first introduces CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), a meticulously curated dataset consisting of 345 high-impact dilemmas along with 3,795 individual perspectives of diverse values. In particular, we design CLASH in a way to support the study of critical aspects of value-based decision-making processes which are missing from prior work, including understanding decision ambivalence and psychological discomfort as well as capturing the temporal shifts of values in characters' perspectives. By benchmarking 10 open and closed frontier models, we uncover several key findings. (1) Even the strongest models, such as GPT-4o and Claude-Sonnet, achieve less than 50% accuracy in identifying situations where the decision should be ambivalent, while they perform significantly better in clear-cut scenarios. (2) While LLMs reasonably predict psychological discomfort as marked by human, they inadequately comprehend perspectives involving value shifts, indicating a need for LLMs to reason over complex values. (3) Our experiments also reveal a significant correlation between LLMs' value preferences and their steerability towards a given value. (4) Finally, LLMs exhibit greater steerability when engaged in value reasoning from a third-party perspective, compared to a first-person setup, though certain value pairs benefit uniquely from the first-person framing.