L'esprit pragmatique des machines : Retracer l'émergence de la compétence pragmatique dans les modèles de langage à grande échelle

The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models

May 24, 2025

Auteurs: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt

cs.AI

Résumé

Les grands modèles de langage (LLMs) actuels ont démontré des capacités émergentes dans des tâches d'intelligence sociale, notamment la résolution d'implicature (Sravanthi et al., 2024) et le raisonnement théorie de l'esprit (Shapira et al., 2024), qui nécessitent toutes deux une compréhension pragmatique approfondie. Cependant, la manière dont les LLMs acquièrent cette compétence au cours du processus d'entraînement reste mal comprise. Dans ce travail, nous introduisons ALTPRAG, un ensemble de données fondé sur le concept pragmatique d'alternatives, conçu pour évaluer si les LLMs à différents stades d'entraînement peuvent inférer avec précision les intentions nuancées d'un locuteur. Chaque instance associe deux continuations contextuellement appropriées mais pragmatiquement distinctes, permettant une évaluation fine à la fois de l'interprétation pragmatique et du raisonnement contrastif. Nous évaluons systématiquement 22 LLMs à travers les étapes clés de l'entraînement : pré-entraînement, fine-tuning supervisé (SFT) et optimisation des préférences, afin d'examiner le développement de la compétence pragmatique. Nos résultats montrent que même les modèles de base présentent une sensibilité notable aux indices pragmatiques, qui s'améliore de manière cohérente avec l'augmentation de l'échelle des modèles et des données. De plus, le SFT et le RLHF contribuent à des gains supplémentaires, en particulier dans le raisonnement cognitivo-pragmatique. Ces résultats mettent en lumière la compétence pragmatique comme une propriété émergente et compositionnelle de l'entraînement des LLMs et offrent de nouvelles perspectives pour aligner les modèles sur les normes de communication humaines.

English

Current large language models (LLMs) have demonstrated emerging capabilities in social intelligence tasks, including implicature resolution (Sravanthi et al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which require substantial pragmatic understanding. However, how LLMs acquire this competence throughout the training process remains poorly understood. In this work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of alternatives, designed to evaluate whether LLMs at different training stages can accurately infer nuanced speaker intentions. Each instance pairs two contextually appropriate but pragmatically distinct continuations, enabling fine-grained assessment of both pragmatic interpretation and contrastive reasoning. We systematically evaluate 22 LLMs across key training stages: pre-training, supervised fine-tuning (SFT), and preference optimization, to examine the development of pragmatic competence. Our results show that even base models exhibit notable sensitivity to pragmatic cues, which improves consistently with increases in model and data scale. Additionally, SFT and RLHF contribute further gains, particularly in cognitive-pragmatic reasoning. These findings highlight pragmatic competence as an emergent and compositional property of LLM training and offer new insights for aligning models with human communicative norms.