CLASH: Оценка языковых моделей в суждении о высокорисковых дилеммах с учетом множества перспектив

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

April 15, 2025

Авторы: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

cs.AI

Аннотация

Решение сложных дилемм, связанных с конфликтующими ценностями, представляет собой сложную задачу даже для людей, не говоря уже об искусственном интеллекте. Однако предыдущие исследования, посвященные оценке способностей крупных языковых моделей (LLM) к рассуждению в таких ситуациях, ограничивались повседневными сценариями. Чтобы устранить этот пробел, данная работа представляет CLASH (Character perspective-based LLM Assessments in Situations with High-stakes) — тщательно разработанный набор данных, включающий 345 высокостаксовых дилемм и 3 795 индивидуальных перспектив, отражающих разнообразные ценности. В частности, CLASH разработан таким образом, чтобы поддерживать изучение критических аспектов процессов принятия решений на основе ценностей, которые отсутствуют в предыдущих работах, включая понимание амбивалентности решений и психологического дискомфорта, а также фиксацию временных изменений ценностей в перспективах персонажей. Проведя тестирование 10 открытых и закрытых моделей, мы выявили несколько ключевых результатов. (1) Даже самые мощные модели, такие как GPT-4o и Claude-Sonnet, демонстрируют точность менее 50% в идентификации ситуаций, где решение должно быть амбивалентным, в то время как в однозначных сценариях их результаты значительно лучше. (2) Хотя LLM достаточно точно предсказывают психологический дискомфорт, отмеченный людьми, они недостаточно хорошо понимают перспективы, связанные с изменением ценностей, что указывает на необходимость улучшения способности LLM рассуждать о сложных ценностях. (3) Наши эксперименты также выявили значительную корреляцию между предпочтениями LLM в отношении ценностей и их управляемостью в сторону заданной ценности. (4) Наконец, LLM демонстрируют большую управляемость при рассуждении о ценностях с точки зрения третьего лица по сравнению с ситуацией от первого лица, хотя некоторые пары ценностей выигрывают именно от первого лица.

English

Navigating high-stakes dilemmas involving conflicting values is challenging even for humans, let alone for AI. Yet prior work in evaluating the reasoning capabilities of large language models (LLMs) in such situations has been limited to everyday scenarios. To close this gap, this work first introduces CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), a meticulously curated dataset consisting of 345 high-impact dilemmas along with 3,795 individual perspectives of diverse values. In particular, we design CLASH in a way to support the study of critical aspects of value-based decision-making processes which are missing from prior work, including understanding decision ambivalence and psychological discomfort as well as capturing the temporal shifts of values in characters' perspectives. By benchmarking 10 open and closed frontier models, we uncover several key findings. (1) Even the strongest models, such as GPT-4o and Claude-Sonnet, achieve less than 50% accuracy in identifying situations where the decision should be ambivalent, while they perform significantly better in clear-cut scenarios. (2) While LLMs reasonably predict psychological discomfort as marked by human, they inadequately comprehend perspectives involving value shifts, indicating a need for LLMs to reason over complex values. (3) Our experiments also reveal a significant correlation between LLMs' value preferences and their steerability towards a given value. (4) Finally, LLMs exhibit greater steerability when engaged in value reasoning from a third-party perspective, compared to a first-person setup, though certain value pairs benefit uniquely from the first-person framing.