InMind: Evaluatie van LLM's in het Vastleggen en Toepassen van Individuele Menselijke Redeneerstijlen

InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

August 22, 2025

Auteurs: Zizhen Li, Chuanhao Li, Yibin Wang, Qi Chen, Diping Song, Yukang Feng, Jianwen Sun, Jiaxin Ai, Fanrui Zhang, Mingzhu Sun, Kaipeng Zhang

cs.AI

Samenvatting

LLM's hebben sterke prestaties getoond op mensgerichte redeneertaken. Hoewel eerdere evaluaties hebben onderzocht of LLM's intenties kunnen afleiden of bedrog kunnen detecteren, wordt vaak over het hoofd gezien dat individuele redeneerstijlen van invloed zijn op hoe mensen sociale contexten interpreteren en erin handelen. Sociale deductiespellen (SDG's) bieden een natuurlijke testomgeving voor het evalueren van individuele redeneerstijlen, waarbij verschillende spelers onder identieke omstandigheden diverse maar contextueel geldige redeneerstrategieën kunnen toepassen. Om dit aan te pakken, introduceren we InMind, een cognitief onderbouwd evaluatiekader dat is ontworpen om te beoordelen of LLM's gepersonaliseerde redeneerstijlen in SDG's kunnen vastleggen en toepassen. InMind verrijkt gestructureerde speldata met rondegewijze strategietraces en post-game reflecties, verzameld onder zowel Observer- als Participant-modi. Het ondersteunt vier cognitief gemotiveerde taken die gezamenlijk zowel statische afstemming als dynamische aanpassing evalueren. Als casestudy passen we InMind toe op het spel Avalon, waarbij we 11 state-of-the-art LLM's evalueren. Algemene LLM's, zelfs GPT-4o, vertrouwen vaak op lexicale signalen en hebben moeite om reflecties te verankeren in tijdgebonden gameplay of zich aan te passen aan evoluerende strategieën. Daarentegen tonen redenering-versterkte LLM's zoals DeepSeek-R1 vroege tekenen van stijlgevoelig redeneren. Deze bevindingen onthullen belangrijke beperkingen in de huidige capaciteit van LLM's voor geïndividualiseerd, adaptief redeneren, en positioneren InMind als een stap in de richting van cognitief afgestemde mens-AI-interactie.

English

LLMs have shown strong performance on human-centric reasoning tasks. While previous evaluations have explored whether LLMs can infer intentions or detect deception, they often overlook the individualized reasoning styles that influence how people interpret and act in social contexts. Social deduction games (SDGs) provide a natural testbed for evaluating individualized reasoning styles, where different players may adopt diverse but contextually valid reasoning strategies under identical conditions. To address this, we introduce InMind, a cognitively grounded evaluation framework designed to assess whether LLMs can capture and apply personalized reasoning styles in SDGs. InMind enhances structured gameplay data with round-level strategy traces and post-game reflections, collected under both Observer and Participant modes. It supports four cognitively motivated tasks that jointly evaluate both static alignment and dynamic adaptation. As a case study, we apply InMind to the game Avalon, evaluating 11 state-of-the-art LLMs. General-purpose LLMs, even GPT-4o frequently rely on lexical cues, struggling to anchor reflections in temporal gameplay or adapt to evolving strategies. In contrast, reasoning-enhanced LLMs like DeepSeek-R1 exhibit early signs of style-sensitive reasoning. These findings reveal key limitations in current LLMs' capacity for individualized, adaptive reasoning, and position InMind as a step toward cognitively aligned human-AI interaction.