La mente pragmática de las máquinas: Rastreando la emergencia de la competencia pragmática en los modelos de lenguaje a gran escala
The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models
May 24, 2025
Autores: Kefan Yu, Qingcheng Zeng, Weihao Xuan, Wanxin Li, Jingyi Wu, Rob Voigt
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) actuales han demostrado capacidades emergentes en tareas de inteligencia social, incluyendo la resolución de implicaturas (Sravanthi et al. (2024)) y el razonamiento sobre la teoría de la mente (Shapira et al. (2024)), ambas requiriendo un entendimiento pragmático sustancial. Sin embargo, cómo los LLMs adquieren esta competencia durante el proceso de entrenamiento sigue siendo poco comprendido. En este trabajo, presentamos ALTPRAG, un conjunto de datos basado en el concepto pragmático de alternativas, diseñado para evaluar si los LLMs en diferentes etapas de entrenamiento pueden inferir con precisión las intenciones matizadas del hablante. Cada instancia empareja dos continuaciones contextualmente apropiadas pero pragmáticamente distintas, permitiendo una evaluación detallada tanto de la interpretación pragmática como del razonamiento contrastivo. Evaluamos sistemáticamente 22 LLMs en etapas clave del entrenamiento: pre-entrenamiento, ajuste fino supervisado (SFT) y optimización de preferencias, para examinar el desarrollo de la competencia pragmática. Nuestros resultados muestran que incluso los modelos base exhiben una notable sensibilidad a las señales pragmáticas, la cual mejora consistentemente con el aumento en la escala del modelo y de los datos. Además, el SFT y el RLHF contribuyen a ganancias adicionales, particularmente en el razonamiento cognitivo-pragmático. Estos hallazgos destacan la competencia pragmática como una propiedad emergente y composicional del entrenamiento de los LLMs y ofrecen nuevas perspectivas para alinear los modelos con las normas comunicativas humanas.
English
Current large language models (LLMs) have demonstrated emerging capabilities
in social intelligence tasks, including implicature resolution (Sravanthi et
al. (2024)) and theory-of-mind reasoning (Shapira et al. (2024)), both of which
require substantial pragmatic understanding. However, how LLMs acquire this
competence throughout the training process remains poorly understood. In this
work, we introduce ALTPRAG, a dataset grounded in the pragmatic concept of
alternatives, designed to evaluate whether LLMs at different training stages
can accurately infer nuanced speaker intentions. Each instance pairs two
contextually appropriate but pragmatically distinct continuations, enabling
fine-grained assessment of both pragmatic interpretation and contrastive
reasoning. We systematically evaluate 22 LLMs across key training stages:
pre-training, supervised fine-tuning (SFT), and preference optimization, to
examine the development of pragmatic competence. Our results show that even
base models exhibit notable sensitivity to pragmatic cues, which improves
consistently with increases in model and data scale. Additionally, SFT and RLHF
contribute further gains, particularly in cognitive-pragmatic reasoning. These
findings highlight pragmatic competence as an emergent and compositional
property of LLM training and offer new insights for aligning models with human
communicative norms.Summary
AI-Generated Summary