ChatPaper.aiChatPaper

InMind: Evaluación de LLMs en la Captura y Aplicación de Estilos de Razonamiento Individuales Humanos

InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

August 22, 2025
Autores: Zizhen Li, Chuanhao Li, Yibin Wang, Qi Chen, Diping Song, Yukang Feng, Jianwen Sun, Jiaxin Ai, Fanrui Zhang, Mingzhu Sun, Kaipeng Zhang
cs.AI

Resumen

Los LLM han demostrado un rendimiento sólido en tareas de razonamiento centradas en el ser humano. Si bien evaluaciones previas han explorado si los LLM pueden inferir intenciones o detectar engaños, a menudo pasan por alto los estilos de razonamiento individualizados que influyen en cómo las personas interpretan y actúan en contextos sociales. Los juegos de deducción social (SDG, por sus siglas en inglés) ofrecen un entorno natural para evaluar estilos de razonamiento individualizados, donde diferentes jugadores pueden adoptar estrategias de razonamiento diversas pero contextualmente válidas bajo condiciones idénticas. Para abordar esto, presentamos InMind, un marco de evaluación cognitivamente fundamentado diseñado para evaluar si los LLM pueden capturar y aplicar estilos de razonamiento personalizados en SDG. InMind enriquece los datos estructurados del juego con trazas de estrategias a nivel de ronda y reflexiones posteriores al juego, recopiladas tanto en modo Observador como en modo Participante. Este marco respalda cuatro tareas motivadas cognitivamente que evalúan conjuntamente tanto la alineación estática como la adaptación dinámica. Como estudio de caso, aplicamos InMind al juego Avalon, evaluando 11 LLM de última generación. Los LLM de propósito general, incluso GPT-4o, frecuentemente dependen de indicios léxicos, luchando por anclar las reflexiones en el desarrollo temporal del juego o adaptarse a estrategias en evolución. En contraste, LLM mejorados con razonamiento, como DeepSeek-R1, muestran signos tempranos de razonamiento sensible al estilo. Estos hallazgos revelan limitaciones clave en la capacidad actual de los LLM para el razonamiento individualizado y adaptativo, y posicionan a InMind como un paso hacia la interacción humano-IA alineada cognitivamente.
English
LLMs have shown strong performance on human-centric reasoning tasks. While previous evaluations have explored whether LLMs can infer intentions or detect deception, they often overlook the individualized reasoning styles that influence how people interpret and act in social contexts. Social deduction games (SDGs) provide a natural testbed for evaluating individualized reasoning styles, where different players may adopt diverse but contextually valid reasoning strategies under identical conditions. To address this, we introduce InMind, a cognitively grounded evaluation framework designed to assess whether LLMs can capture and apply personalized reasoning styles in SDGs. InMind enhances structured gameplay data with round-level strategy traces and post-game reflections, collected under both Observer and Participant modes. It supports four cognitively motivated tasks that jointly evaluate both static alignment and dynamic adaptation. As a case study, we apply InMind to the game Avalon, evaluating 11 state-of-the-art LLMs. General-purpose LLMs, even GPT-4o frequently rely on lexical cues, struggling to anchor reflections in temporal gameplay or adapt to evolving strategies. In contrast, reasoning-enhanced LLMs like DeepSeek-R1 exhibit early signs of style-sensitive reasoning. These findings reveal key limitations in current LLMs' capacity for individualized, adaptive reasoning, and position InMind as a step toward cognitively aligned human-AI interaction.
PDF12August 25, 2025