Zijn ze geliefden of vrienden? Evaluatie van sociale redeneervaardigheden van LLM's in Engelse en Koreaanse dialogen

Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues

October 21, 2025

Auteurs: Eunsu Kim, Junyeong Park, Juhyun Oh, Kiwoong Park, Seyoung Song, A. Seza Dogruoz, Najoung Kim, Alice Oh

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLMs) steeds vaker worden ingezet in mens-AI-interacties, zijn hun sociale redeneervaardigheden in interpersoonlijke contexten cruciaal. Wij introduceren SCRIPTS, een dataset van 1.000 dialogen in het Engels en Koreaans, afkomstig uit filmscripts. De taak bestaat uit het evalueren van de sociale redeneervaardigheid van modellen om de interpersoonlijke relaties (bijvoorbeeld vrienden, zussen, geliefden) tussen sprekers in elke dialoog af te leiden. Elke dialoog is geannoteerd met probabilistische relationele labels (Zeer Waarschijnlijk, Minder Waarschijnlijk, Onwaarschijnlijk) door moedertaalsprekers (of equivalenten) van Koreaans en Engels uit Korea en de VS. Bij de evaluatie van negen modellen op onze taak behalen huidige propriëtaire LLMs ongeveer 75-80% op de Engelse dataset, terwijl hun prestaties op Koreaans dalen tot 58-69%. Opvallender is dat modellen in 10-25% van hun antwoorden Onwaarschijnlijke relaties selecteren. Bovendien ontdekken we dat denkmodellen en chain-of-thought prompting, die effectief zijn voor algemeen redeneren, minimale voordelen bieden voor sociaal redeneren en soms sociale vooroordelen versterken. Onze bevindingen onthullen aanzienlijke beperkingen in de sociale redeneervaardigheden van huidige LLMs, wat de noodzaak benadrukt om inspanningen te leveren voor de ontwikkeling van sociaal bewuste taalmodellen.

English

As large language models (LLMs) are increasingly used in human-AI interactions, their social reasoning capabilities in interpersonal contexts are critical. We introduce SCRIPTS, a 1k-dialogue dataset in English and Korean, sourced from movie scripts. The task involves evaluating models' social reasoning capability to infer the interpersonal relationships (e.g., friends, sisters, lovers) between speakers in each dialogue. Each dialogue is annotated with probabilistic relational labels (Highly Likely, Less Likely, Unlikely) by native (or equivalent) Korean and English speakers from Korea and the U.S. Evaluating nine models on our task, current proprietary LLMs achieve around 75-80% on the English dataset, whereas their performance on Korean drops to 58-69%. More strikingly, models select Unlikely relationships in 10-25% of their responses. Furthermore, we find that thinking models and chain-of-thought prompting, effective for general reasoning, provide minimal benefits for social reasoning and occasionally amplify social biases. Our findings reveal significant limitations in current LLMs' social reasoning capabilities, highlighting the need for efforts to develop socially-aware language models.