La mente pragmática de las máquinas: Rastreando la emergencia de la competencia pragmática en los modelos de lenguaje a gran escala

The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models

May 24, 2025

Autores: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) actuales han demostrado capacidades emergentes en tareas de inteligencia social, incluyendo la resolución de implicaturas (Sravanthi et al. (2024)) y el razonamiento sobre la teoría de la mente (Shapira et al. (2024)), ambas requiriendo un entendimiento pragmático sustancial. Sin embargo, cómo los LLMs adquieren esta competencia durante el proceso de entrenamiento sigue siendo poco comprendido. En este trabajo, presentamos ALTPRAG, un conjunto de datos basado en el concepto pragmático de alternativas, diseñado para evaluar si los LLMs en diferentes etapas de entrenamiento pueden inferir con precisión las intenciones matizadas del hablante. Cada instancia empareja dos continuaciones contextualmente apropiadas pero pragmáticamente distintas, permitiendo una evaluación detallada tanto de la interpretación pragmática como del razonamiento contrastivo. Evaluamos sistemáticamente 22 LLMs en etapas clave del entrenamiento: pre-entrenamiento, ajuste fino supervisado (SFT) y optimización de preferencias, para examinar el desarrollo de la competencia pragmática. Nuestros resultados muestran que incluso los modelos base exhiben una notable sensibilidad a las señales pragmáticas, la cual mejora consistentemente con el aumento en la escala del modelo y de los datos. Además, el SFT y el RLHF contribuyen a ganancias adicionales, particularmente en el razonamiento cognitivo-pragmático. Estos hallazgos destacan la competencia pragmática como una propiedad emergente y composicional del entrenamiento de los LLMs y ofrecen nuevas perspectivas para alinear los modelos con las normas comunicativas humanas.

English

Current large language models (LLMs) have demonstrated emerging capabilities in social intelligence tasks, including implicature resolution (Sravanthi et al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which require substantial pragmatic understanding. However, how LLMs acquire this competence throughout the training process remains poorly understood. In this work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of alternatives, designed to evaluate whether LLMs at different training stages can accurately infer nuanced speaker intentions. Each instance pairs two contextually appropriate but pragmatically distinct continuations, enabling fine-grained assessment of both pragmatic interpretation and contrastive reasoning. We systematically evaluate 22 LLMs across key training stages: pre-training, supervised fine-tuning (SFT), and preference optimization, to examine the development of pragmatic competence. Our results show that even base models exhibit notable sensitivity to pragmatic cues, which improves consistently with increases in model and data scale. Additionally, SFT and RLHF contribute further gains, particularly in cognitive-pragmatic reasoning. These findings highlight pragmatic competence as an emergent and compositional property of LLM training and offer new insights for aligning models with human communicative norms.