CLASH: Evaluación de Modelos de Lenguaje en la Toma de Decisiones sobre Dilemas de Alto Riesgo desde Múltiples Perspectivas

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

April 15, 2025

Autores: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

cs.AI

Resumen

Navegar dilemas de alto riesgo que involucran valores en conflicto es un desafío incluso para los humanos, y más aún para la IA. Sin embargo, trabajos previos en la evaluación de las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en tales situaciones se han limitado a escenarios cotidianos. Para cerrar esta brecha, este trabajo introduce primero CLASH (Evaluaciones de LLMs basadas en perspectivas de personajes en situaciones de alto riesgo), un conjunto de datos meticulosamente curado que consta de 345 dilemas de alto impacto junto con 3,795 perspectivas individuales de diversos valores. En particular, diseñamos CLASH de manera que permita estudiar aspectos críticos de los procesos de toma de decisiones basados en valores que faltan en trabajos previos, incluyendo la comprensión de la ambivalencia en las decisiones y el malestar psicológico, así como la captura de los cambios temporales en los valores desde las perspectivas de los personajes. Al evaluar 10 modelos de frontera abiertos y cerrados, descubrimos varios hallazgos clave. (1) Incluso los modelos más fuertes, como GPT-4o y Claude-Sonnet, logran menos del 50% de precisión al identificar situaciones en las que la decisión debería ser ambivalente, mientras que tienen un desempeño significativamente mejor en escenarios claros. (2) Aunque los LLMs predicen razonablemente el malestar psicológico según lo marcado por humanos, comprenden de manera insuficiente las perspectivas que involucran cambios de valores, lo que indica la necesidad de que los LLMs razonen sobre valores complejos. (3) Nuestros experimentos también revelan una correlación significativa entre las preferencias de valores de los LLMs y su capacidad de ser dirigidos hacia un valor dado. (4) Finalmente, los LLMs muestran una mayor capacidad de dirección cuando se involucran en razonamientos de valores desde una perspectiva de terceros, en comparación con una configuración en primera persona, aunque ciertos pares de valores se benefician de manera única del enfoque en primera persona.

English

Navigating high-stakes dilemmas involving conflicting values is challenging even for humans, let alone for AI. Yet prior work in evaluating the reasoning capabilities of large language models (LLMs) in such situations has been limited to everyday scenarios. To close this gap, this work first introduces CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), a meticulously curated dataset consisting of 345 high-impact dilemmas along with 3,795 individual perspectives of diverse values. In particular, we design CLASH in a way to support the study of critical aspects of value-based decision-making processes which are missing from prior work, including understanding decision ambivalence and psychological discomfort as well as capturing the temporal shifts of values in characters' perspectives. By benchmarking 10 open and closed frontier models, we uncover several key findings. (1) Even the strongest models, such as GPT-4o and Claude-Sonnet, achieve less than 50% accuracy in identifying situations where the decision should be ambivalent, while they perform significantly better in clear-cut scenarios. (2) While LLMs reasonably predict psychological discomfort as marked by human, they inadequately comprehend perspectives involving value shifts, indicating a need for LLMs to reason over complex values. (3) Our experiments also reveal a significant correlation between LLMs' value preferences and their steerability towards a given value. (4) Finally, LLMs exhibit greater steerability when engaged in value reasoning from a third-party perspective, compared to a first-person setup, though certain value pairs benefit uniquely from the first-person framing.