Прагматический разум машин: отслеживание становления прагматической компетенции в крупных языковых моделях

The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models

May 24, 2025

Авторы: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt

cs.AI

Аннотация

Современные крупные языковые модели (LLM) продемонстрировали зарождающиеся способности в задачах социального интеллекта, включая разрешение импликатур (Sravanthi et al., 2024) и рассуждения на основе теории сознания (Shapira et al., 2024), что требует значительного прагматического понимания. Однако то, как LLM приобретают эту компетенцию в процессе обучения, остается малоизученным. В данной работе мы представляем ALTPRAG — набор данных, основанный на прагматической концепции альтернатив, предназначенный для оценки способности LLM на разных этапах обучения точно выводить тонкие намерения говорящего. Каждый пример включает два контекстуально уместных, но прагматически различных продолжения, что позволяет проводить детальную оценку как прагматической интерпретации, так и контрастного рассуждения. Мы систематически оцениваем 22 LLM на ключевых этапах обучения: предварительное обучение, контролируемая тонкая настройка (SFT) и оптимизация предпочтений, чтобы изучить развитие прагматической компетенции. Наши результаты показывают, что даже базовые модели демонстрируют заметную чувствительность к прагматическим сигналам, которая последовательно улучшается с увеличением масштаба модели и данных. Кроме того, SFT и RLHF вносят дополнительный вклад, особенно в когнитивно-прагматические рассуждения. Эти результаты подчеркивают прагматическую компетенцию как возникающее и композиционное свойство обучения LLM и предлагают новые идеи для согласования моделей с человеческими коммуникативными нормами.

English

Current large language models (LLMs) have demonstrated emerging capabilities in social intelligence tasks, including implicature resolution (Sravanthi et al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which require substantial pragmatic understanding. However, how LLMs acquire this competence throughout the training process remains poorly understood. In this work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of alternatives, designed to evaluate whether LLMs at different training stages can accurately infer nuanced speaker intentions. Each instance pairs two contextually appropriate but pragmatically distinct continuations, enabling fine-grained assessment of both pragmatic interpretation and contrastive reasoning. We systematically evaluate 22 LLMs across key training stages: pre-training, supervised fine-tuning (SFT), and preference optimization, to examine the development of pragmatic competence. Our results show that even base models exhibit notable sensitivity to pragmatic cues, which improves consistently with increases in model and data scale. Additionally, SFT and RLHF contribute further gains, particularly in cognitive-pragmatic reasoning. These findings highlight pragmatic competence as an emergent and compositional property of LLM training and offer new insights for aligning models with human communicative norms.