La Mente Pragmatica delle Macchine: Tracciare l'Emersione della Competenza Pragmatica nei Modelli Linguistici su Larga Scala

The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models

May 24, 2025

Autori: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) attuali hanno dimostrato capacità emergenti nei compiti di intelligenza sociale, inclusa la risoluzione di implicature (Sravanthi et al., 2024) e il ragionamento sulla teoria della mente (Shapira et al., 2024), entrambi i quali richiedono una comprensione pragmatica sostanziale. Tuttavia, come i LLM acquisiscano questa competenza durante il processo di addestramento rimane poco compreso. In questo lavoro, introduciamo ALTPRAG, un dataset basato sul concetto pragmatico di alternative, progettato per valutare se i LLM in diverse fasi di addestramento possano inferire accuratamente le intenzioni sfumate del parlante. Ogni istanza accoppia due continuazioni contestualmente appropriate ma pragmaticamente distinte, consentendo una valutazione dettagliata sia dell'interpretazione pragmatica che del ragionamento contrastivo. Valutiamo sistematicamente 22 LLM attraverso le fasi chiave dell'addestramento: pre-addestramento, fine-tuning supervisionato (SFT) e ottimizzazione delle preferenze, per esaminare lo sviluppo della competenza pragmatica. I nostri risultati mostrano che anche i modelli di base presentano una sensibilità notevole agli indizi pragmatici, che migliora costantemente con l'aumento della scala del modello e dei dati. Inoltre, SFT e RLHF contribuiscono a ulteriori miglioramenti, in particolare nel ragionamento cognitivo-pragmatico. Questi risultati evidenziano la competenza pragmatica come una proprietà emergente e compositiva dell'addestramento dei LLM e offrono nuove intuizioni per allineare i modelli alle norme comunicative umane.

English

Current large language models (LLMs) have demonstrated emerging capabilities in social intelligence tasks, including implicature resolution (Sravanthi et al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which require substantial pragmatic understanding. However, how LLMs acquire this competence throughout the training process remains poorly understood. In this work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of alternatives, designed to evaluate whether LLMs at different training stages can accurately infer nuanced speaker intentions. Each instance pairs two contextually appropriate but pragmatically distinct continuations, enabling fine-grained assessment of both pragmatic interpretation and contrastive reasoning. We systematically evaluate 22 LLMs across key training stages: pre-training, supervised fine-tuning (SFT), and preference optimization, to examine the development of pragmatic competence. Our results show that even base models exhibit notable sensitivity to pragmatic cues, which improves consistently with increases in model and data scale. Additionally, SFT and RLHF contribute further gains, particularly in cognitive-pragmatic reasoning. These findings highlight pragmatic competence as an emergent and compositional property of LLM training and offer new insights for aligning models with human communicative norms.