Het pragmatische denken van machines: Het traceren van het ontstaan van pragmatische competentie in grote taalmodellen

The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models

May 24, 2025

Auteurs: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt

cs.AI

Samenvatting

Huidige grote taalmodellen (LLMs) hebben opkomende capaciteiten getoond in taken die sociale intelligentie vereisen, waaronder implicatuurresolutie (Sravanthi et al. (2024)) en theory-of-mind redenering (Shapira et al. (2024)), beide gebieden die een aanzienlijk pragmatisch begrip vereisen. Echter, hoe LLMs deze competentie verwerven gedurende het trainingsproces, blijft slecht begrepen. In dit werk introduceren we ALTPRAG, een dataset gebaseerd op het pragmatische concept van alternatieven, ontworpen om te evalueren of LLMs in verschillende trainingsfasen subtiele sprekersintenties accuraat kunnen afleiden. Elk voorbeeld koppelt twee contextueel passende maar pragmatisch verschillende vervolgen, wat een fijnmazige beoordeling mogelijk maakt van zowel pragmatische interpretatie als contrastief redeneren. We evalueren systematisch 22 LLMs over belangrijke trainingsfasen: pre-training, supervised fine-tuning (SFT), en voorkeursoptimalisatie, om de ontwikkeling van pragmatische competentie te onderzoeken. Onze resultaten tonen aan dat zelfs basismodellen een opmerkelijke gevoeligheid voor pragmatische signalen vertonen, die consistent verbetert met toename in model- en dataschaal. Daarnaast dragen SFT en RLHF bij aan verdere verbeteringen, met name in cognitief-pragmatisch redeneren. Deze bevindingen benadrukken pragmatische competentie als een emergent en compositioneel kenmerk van LLM-training en bieden nieuwe inzichten voor het afstemmen van modellen op menselijke communicatienormen.

English

Current large language models (LLMs) have demonstrated emerging capabilities in social intelligence tasks, including implicature resolution (Sravanthi et al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which require substantial pragmatic understanding. However, how LLMs acquire this competence throughout the training process remains poorly understood. In this work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of alternatives, designed to evaluate whether LLMs at different training stages can accurately infer nuanced speaker intentions. Each instance pairs two contextually appropriate but pragmatically distinct continuations, enabling fine-grained assessment of both pragmatic interpretation and contrastive reasoning. We systematically evaluate 22 LLMs across key training stages: pre-training, supervised fine-tuning (SFT), and preference optimization, to examine the development of pragmatic competence. Our results show that even base models exhibit notable sensitivity to pragmatic cues, which improves consistently with increases in model and data scale. Additionally, SFT and RLHF contribute further gains, particularly in cognitive-pragmatic reasoning. These findings highlight pragmatic competence as an emergent and compositional property of LLM training and offer new insights for aligning models with human communicative norms.