InMind: Avaliando LLMs na Captura e Aplicação de Estilos de Raciocínio Individual Humano

Resumo

Os LLMs (Modelos de Linguagem de Grande Escala) têm demonstrado um desempenho robusto em tarefas de raciocínio centradas no ser humano. Embora avaliações anteriores tenham explorado se os LLMs podem inferir intenções ou detectar enganos, elas frequentemente negligenciam os estilos de raciocínio individualizados que influenciam como as pessoas interpretam e agem em contextos sociais. Jogos de dedução social (SDGs, na sigla em inglês) oferecem um ambiente natural para avaliar esses estilos de raciocínio individualizados, onde diferentes jogadores podem adotar estratégias de raciocínio diversas, mas contextualmente válidas, sob condições idênticas. Para abordar essa lacuna, introduzimos o InMind, um framework de avaliação cognitivamente fundamentado projetado para avaliar se os LLMs conseguem capturar e aplicar estilos de raciocínio personalizados em SDGs. O InMind aprimora dados estruturados de jogabilidade com rastros de estratégias em nível de rodada e reflexões pós-jogo, coletados tanto no modo Observador quanto no modo Participante. Ele suporta quatro tarefas motivadas cognitivamente que avaliam conjuntamente tanto o alinhamento estático quanto a adaptação dinâmica. Como estudo de caso, aplicamos o InMind ao jogo Avalon, avaliando 11 LLMs de última geração. LLMs de propósito geral, como o GPT-4, frequentemente dependem de pistas lexicais, lutando para ancorar reflexões na jogabilidade temporal ou se adaptar a estratégias em evolução. Em contraste, LLMs aprimorados para raciocínio, como o DeepSeek-R1, exibem sinais precoces de raciocínio sensível ao estilo. Essas descobertas revelam limitações importantes na capacidade dos LLMs atuais para raciocínio individualizado e adaptativo, posicionando o InMind como um passo em direção à interação humano-IA alinhada cognitivamente.

English

LLMs have shown strong performance on human-centric reasoning tasks. While previous evaluations have explored whether LLMs can infer intentions or detect deception, they often overlook the individualized reasoning styles that influence how people interpret and act in social contexts. Social deduction games (SDGs) provide a natural testbed for evaluating individualized reasoning styles, where different players may adopt diverse but contextually valid reasoning strategies under identical conditions. To address this, we introduce InMind, a cognitively grounded evaluation framework designed to assess whether LLMs can capture and apply personalized reasoning styles in SDGs. InMind enhances structured gameplay data with round-level strategy traces and post-game reflections, collected under both Observer and Participant modes. It supports four cognitively motivated tasks that jointly evaluate both static alignment and dynamic adaptation. As a case study, we apply InMind to the game Avalon, evaluating 11 state-of-the-art LLMs. General-purpose LLMs, even GPT-4o frequently rely on lexical cues, struggling to anchor reflections in temporal gameplay or adapt to evolving strategies. In contrast, reasoning-enhanced LLMs like DeepSeek-R1 exhibit early signs of style-sensitive reasoning. These findings reveal key limitations in current LLMs' capacity for individualized, adaptive reasoning, and position InMind as a step toward cognitively aligned human-AI interaction.

InMind: Avaliando LLMs na Captura e Aplicação de Estilos de Raciocínio Individual Humano

InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

Resumo

Support