Они влюблённые или друзья? Оценка социального мышления языковых моделей в диалогах на английском и корейском языках

Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues

October 21, 2025

Авторы: Eunsu Kim, Junyeong Park, Juhyun Oh, Kiwoong Park, Seyoung Song, A. Seza Dogruoz, Najoung Kim, Alice Oh

cs.AI

Аннотация

По мере того как крупные языковые модели (LLM) всё чаще используются во взаимодействиях человека и ИИ, их способности к социальному рассуждению в межличностных контекстах становятся критически важными. Мы представляем SCRIPTS — набор данных из 1 тысячи диалогов на английском и корейском языках, взятых из киносценариев. Задача заключается в оценке способности моделей к социальному рассуждению для вывода межличностных отношений (например, друзья, сёстры, влюблённые) между участниками каждого диалога. Каждый диалог аннотирован вероятностными метками отношений (Highly Likely, Less Likely, Unlikely) носителями (или эквивалентными) корейского и английского языков из Кореи и США. Оценивая девять моделей на нашей задаче, современные проприетарные LLM достигают около 75-80% на английском наборе данных, тогда как их производительность на корейском падает до 58-69%. Более того, модели выбирают маловероятные отношения (Unlikely) в 10-25% своих ответов. Кроме того, мы обнаруживаем, что модели с мышлением и цепочкой рассуждений (chain-of-thought prompting), эффективные для общего рассуждения, приносят минимальную пользу для социального рассуждения и иногда усиливают социальные предубеждения. Наши результаты выявляют значительные ограничения в способностях современных LLM к социальному рассуждению, подчеркивая необходимость усилий по разработке социально-осознанных языковых моделей.

English

As large language models (LLMs) are increasingly used in human-AI interactions, their social reasoning capabilities in interpersonal contexts are critical. We introduce SCRIPTS, a 1k-dialogue dataset in English and Korean, sourced from movie scripts. The task involves evaluating models' social reasoning capability to infer the interpersonal relationships (e.g., friends, sisters, lovers) between speakers in each dialogue. Each dialogue is annotated with probabilistic relational labels (Highly Likely, Less Likely, Unlikely) by native (or equivalent) Korean and English speakers from Korea and the U.S. Evaluating nine models on our task, current proprietary LLMs achieve around 75-80% on the English dataset, whereas their performance on Korean drops to 58-69%. More strikingly, models select Unlikely relationships in 10-25% of their responses. Furthermore, we find that thinking models and chain-of-thought prompting, effective for general reasoning, provide minimal benefits for social reasoning and occasionally amplify social biases. Our findings reveal significant limitations in current LLMs' social reasoning capabilities, highlighting the need for efforts to develop socially-aware language models.