InMind: Оценка способностей крупных языковых моделей в распознавании и применении индивидуальных стилей человеческого мышления

InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

August 22, 2025

Авторы: Zizhen Li, Chuanhao Li, Yibin Wang, Qi Chen, Diping Song, Yukang Feng, Jianwen Sun, Jiaxin Ai, Fanrui Zhang, Mingzhu Sun, Kaipeng Zhang

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали высокую производительность в задачах, связанных с человеко-ориентированным рассуждением. Хотя предыдущие исследования изучали, способны ли LLM выявлять намерения или обнаруживать обман, они часто упускают из виду индивидуализированные стили рассуждения, которые влияют на то, как люди интерпретируют и действуют в социальных контекстах. Социальные дедуктивные игры (SDG) предоставляют естественную площадку для оценки индивидуализированных стилей рассуждения, где разные игроки могут применять разнообразные, но контекстуально обоснованные стратегии в идентичных условиях. Для решения этой задачи мы представляем InMind, когнитивно обоснованную оценочную структуру, предназначенную для проверки способности LLM улавливать и применять персонализированные стили рассуждения в SDG. InMind дополняет структурированные данные игрового процесса следами стратегий на уровне раундов и пост-игровыми рефлексиями, собранными в режимах Наблюдателя и Участника. Она поддерживает четыре когнитивно мотивированные задачи, которые совместно оценивают как статическое соответствие, так и динамическую адаптацию. В качестве примера мы применяем InMind к игре Avalon, оценивая 11 современных LLM. Универсальные LLM, включая GPT-4o, часто полагаются на лексические подсказки, испытывая трудности с привязкой рефлексий к временному игровому процессу или адаптацией к меняющимся стратегиям. В то же время LLM с усиленным рассуждением, такие как DeepSeek-R1, демонстрируют первые признаки стиле-чувствительного рассуждения. Эти результаты выявляют ключевые ограничения в способности современных LLM к индивидуализированному и адаптивному рассуждению, а также позиционируют InMind как шаг на пути к когнитивно согласованному взаимодействию человека и ИИ.

English

LLMs have shown strong performance on human-centric reasoning tasks. While previous evaluations have explored whether LLMs can infer intentions or detect deception, they often overlook the individualized reasoning styles that influence how people interpret and act in social contexts. Social deduction games (SDGs) provide a natural testbed for evaluating individualized reasoning styles, where different players may adopt diverse but contextually valid reasoning strategies under identical conditions. To address this, we introduce InMind, a cognitively grounded evaluation framework designed to assess whether LLMs can capture and apply personalized reasoning styles in SDGs. InMind enhances structured gameplay data with round-level strategy traces and post-game reflections, collected under both Observer and Participant modes. It supports four cognitively motivated tasks that jointly evaluate both static alignment and dynamic adaptation. As a case study, we apply InMind to the game Avalon, evaluating 11 state-of-the-art LLMs. General-purpose LLMs, even GPT-4o frequently rely on lexical cues, struggling to anchor reflections in temporal gameplay or adapt to evolving strategies. In contrast, reasoning-enhanced LLMs like DeepSeek-R1 exhibit early signs of style-sensitive reasoning. These findings reveal key limitations in current LLMs' capacity for individualized, adaptive reasoning, and position InMind as a step toward cognitively aligned human-AI interaction.