InMind: 個々の人間の推論スタイルの把握と適用におけるLLMの評価

要旨

LLM（大規模言語モデル）は、人間中心の推論タスクにおいて強力な性能を示してきた。これまでの評価では、LLMが意図を推測したり、欺瞞を検出したりできるかどうかが探求されてきたが、社会的文脈において人々が解釈し行動する際に影響を与える個別化された推論スタイルはしばしば見過ごされてきた。ソーシャルディダクションゲーム（SDG）は、個別化された推論スタイルを評価するための自然なテストベッドを提供する。ここでは、異なるプレイヤーが同一条件下で多様だが文脈的に妥当な推論戦略を採用する可能性がある。この問題に対処するため、我々はInMindを導入する。これは、LLMがSDGにおいて個別化された推論スタイルを捕捉し適用できるかどうかを評価するために設計された、認知論的基盤を持つ評価フレームワークである。InMindは、ObserverモードとParticipantモードの両方で収集されたラウンドレベルの戦略トレースとゲーム後の振り返りを構造化されたゲームプレイデータに強化する。これにより、静的整合性と動的適応性の両方を共同で評価する4つの認知論的動機付けタスクをサポートする。ケーススタディとして、InMindをゲーム「アヴァロン」に適用し、11の最先端LLMを評価した。汎用LLM、たとえGPT-4oでさえ、しばしば語彙的キューに依存し、時間的なゲームプレイに振り返りを固定したり、進化する戦略に適応したりするのに苦労する。一方、DeepSeek-R1のような推論強化型LLMは、スタイルに敏感な推論の初期兆候を示す。これらの発見は、現在のLLMが個別化された適応的推論能力において持つ主要な限界を明らかにし、InMindを認知論的に整合した人間-AIインタラクションに向けた一歩として位置づける。

English

LLMs have shown strong performance on human-centric reasoning tasks. While previous evaluations have explored whether LLMs can infer intentions or detect deception, they often overlook the individualized reasoning styles that influence how people interpret and act in social contexts. Social deduction games (SDGs) provide a natural testbed for evaluating individualized reasoning styles, where different players may adopt diverse but contextually valid reasoning strategies under identical conditions. To address this, we introduce InMind, a cognitively grounded evaluation framework designed to assess whether LLMs can capture and apply personalized reasoning styles in SDGs. InMind enhances structured gameplay data with round-level strategy traces and post-game reflections, collected under both Observer and Participant modes. It supports four cognitively motivated tasks that jointly evaluate both static alignment and dynamic adaptation. As a case study, we apply InMind to the game Avalon, evaluating 11 state-of-the-art LLMs. General-purpose LLMs, even GPT-4o frequently rely on lexical cues, struggling to anchor reflections in temporal gameplay or adapt to evolving strategies. In contrast, reasoning-enhanced LLMs like DeepSeek-R1 exhibit early signs of style-sensitive reasoning. These findings reveal key limitations in current LLMs' capacity for individualized, adaptive reasoning, and position InMind as a step toward cognitively aligned human-AI interaction.

InMind: 個々の人間の推論スタイルの把握と適用におけるLLMの評価

InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

要旨

Support