¿Son amantes o amigos? Evaluación del razonamiento social de los LLM en diálogos en inglés y coreano

Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues

October 21, 2025

Autores: Eunsu Kim, Junyeong Park, Juhyun Oh, Kiwoong Park, Seyoung Song, A. Seza Dogruoz, Najoung Kim, Alice Oh

cs.AI

Resumen

A medida que los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se utilizan cada vez más en interacciones humano-IA, sus capacidades de razonamiento social en contextos interpersonales son cruciales. Presentamos SCRIPTS, un conjunto de datos de 1,000 diálogos en inglés y coreano, extraídos de guiones de películas. La tarea consiste en evaluar la capacidad de razonamiento social de los modelos para inferir las relaciones interpersonales (por ejemplo, amigos, hermanas, amantes) entre los hablantes en cada diálogo. Cada diálogo está anotado con etiquetas relacionales probabilísticas (Muy Probable, Menos Probable, Poco Probable) por hablantes nativos (o equivalentes) de coreano e inglés de Corea y Estados Unidos. Al evaluar nueve modelos en nuestra tarea, los LLMs propietarios actuales alcanzan alrededor del 75-80% en el conjunto de datos en inglés, mientras que su rendimiento en coreano cae al 58-69%. Más llamativamente, los modelos seleccionan relaciones Poco Probables en el 10-25% de sus respuestas. Además, encontramos que los modelos de pensamiento y el prompting de cadena de pensamiento, efectivos para el razonamiento general, ofrecen beneficios mínimos para el razonamiento social y, en ocasiones, amplifican los sesgos sociales. Nuestros hallazgos revelan limitaciones significativas en las capacidades de razonamiento social de los LLMs actuales, destacando la necesidad de esfuerzos para desarrollar modelos de lenguaje socialmente conscientes.

English

As large language models (LLMs) are increasingly used in human-AI interactions, their social reasoning capabilities in interpersonal contexts are critical. We introduce SCRIPTS, a 1k-dialogue dataset in English and Korean, sourced from movie scripts. The task involves evaluating models' social reasoning capability to infer the interpersonal relationships (e.g., friends, sisters, lovers) between speakers in each dialogue. Each dialogue is annotated with probabilistic relational labels (Highly Likely, Less Likely, Unlikely) by native (or equivalent) Korean and English speakers from Korea and the U.S. Evaluating nine models on our task, current proprietary LLMs achieve around 75-80% on the English dataset, whereas their performance on Korean drops to 58-69%. More strikingly, models select Unlikely relationships in 10-25% of their responses. Furthermore, we find that thinking models and chain-of-thought prompting, effective for general reasoning, provide minimal benefits for social reasoning and occasionally amplify social biases. Our findings reveal significant limitations in current LLMs' social reasoning capabilities, highlighting the need for efforts to develop socially-aware language models.